- 博客(4)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 交叉熵的公式是怎么来的
交叉熵损失函数是机器学习中一个常见的损失函数，用来衡量目标与预测值之间的差距，看着公式能感觉到确实有种在衡量差距的感觉，但是又说不出为什么有这种作用。下面从信息量-信息熵-交叉熵的步骤来看交叉熵公式的意义。信息量信息量是我们能获得未知信息的多少，比如我说周杰伦某天开演唱会，这件事信息量就很小，因为演唱会哪天开已经公布了，这件事发生的概率很大，不用我说你也知道。但是我如果说周杰伦出轨了，这件...
2018-07-31 21:42:17
4263
原创 SVM(二)
约束条件下的最优化问题在上文中我们得到了SVM的目标函数，是一个约束最优化问题，下面来求解这个问题。1.约束最优化问题既然是约束，就可以分为和两种形式(注意后面也有等于，不是<)，如下图所示，分别是在一条线上和一片区域上寻找最优解。（1）最优解特点：观察等式约束情况，可以发现直线上的最优解正好与等高线相切。这种情况是必然的，在最优解处目标函数的梯度方向如果不与直线的切...
2018-07-25 14:20:31
334
原创 SVM(一)
一.什么是SVM通俗来讲，SVM就是一个能把数据分的最开的lr，它也是构造一个线性分类超平面。能将两类数据分开的超平面有很多，lr是找出能让所有数据远离的超平面，而svm只专注于那些离超平面最近的点，因为这些点才是比较难分容易混淆的点。如下图，很自然的能理解A比B要好，因为B中那些离分离面近的点我们不太确定属于哪类。二.线性SVM从第一节可以看到，svm优化的是决策面到离超平面...
2018-07-25 09:57:25
152
原创 导数与梯度
导数导数是一个很熟悉也很容易想象到的概念，导数体现了函数在某点的瞬时变化率，也可表示切线斜率高中时我们对y=x^2求导的时候，实际上将其看作了一元函数，而y=f(x)是方程而不是函数，真正的函数是F(x,y)=x^-y，是一个曲面，只不过取了F(x,y)=0时候的特例。偏导数在二元函数F(x,y)中由于有两个自变量，导数也有x和y两个方向的分量，所以引入了偏导数。曲面上一点的瞬时变化率可以是任意方...
2018-07-14 23:15:33
1607
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人