机器学习
heimu24
这个作者很懒,什么都没留下…
展开
-
【统计学习方法.李航】感知机学习算法
什么是感知机?感知机是二类分类的线性分类模型,其输入为实例的特征空间,输出的为实例的类别,取+1和-1二值。感知机学习的目标?求出将训练数据进行线性划分的分离超平面怎么求?导入基于误分类的损失函数,利用梯度下降法对损失函数极小化,从而求得感知机模型。文章目录感知机的定义损失函数随机梯度下降感知机的对偶形式总结代码实现感知机的定义线性方程:对应的是特征空间中的一个超平面,...原创 2019-04-13 11:40:48 · 342 阅读 · 0 评论 -
【统计学习方法.李航】SVM支持向量机
线性可分支持向量机定义函数间隔,定义几何间隔目标,几何间隔最大化?令函数间隔=1,将原问题转为凸二次规划问题怎么求解凸二次规划呢?原问题不好求?所以,拉格朗日,得到对偶问题。求解了对偶问题,得到拉格朗日乘子,利用KKT,得到w,b所以接下来的目标,求解对偶问题的最优化怎么求呢?SMO后来呢,遇到线性不可分的问题怎么办?加松弛变量再后来,遇到非线性咋整?映射,将实例空间映射到线...原创 2019-04-13 15:51:12 · 636 阅读 · 0 评论 -
【机器学习】知识点汇总
持续更新ing…标准化/归一化原创 2019-05-24 17:26:49 · 494 阅读 · 0 评论 -
无约束优化方法
第一个核心点:精确一维搜索求步长 λ{\lambda }λ ?λk=argminf(xk+λdk){\lambda _k} = \arg \min f({x^k} + \lambda {d^k})λk=argminf(xk+λdk)具体看附录的例题。第二个核心点:搜索方向dk{d^k}dk?最速下降法/随机梯度下降dk=−1∗∇f(xk){d^k} = - 1*\nabla ...原创 2019-05-30 22:42:44 · 345 阅读 · 0 评论 -
【机器学习】查准率,召回率
类偏斜情况:我们的训练集中有非常多的同一种类的实例,只有很少或者没有其他类的实例ps:这里重点理解一下为什么查准率高的话查全率就低?例如,上面提到,为了提高查准率,可以使用更高的阈值,如0.7,0.9,这意味着我们只有具有很大把握(概率)的时候才预测为真,这样预测为真,实际为假(FP)的情况就减少了,看查准率公式,这样查准率就高了。同样,我们只有在具有很大把握(概率)的时候才预测为真,...原创 2019-06-04 15:13:09 · 1624 阅读 · 0 评论