机器学习就是从数学中找到特征和模式的技术 机器学习擅长的任务:
-
回归
-
处理连续数据如时间数据的技术
-
使用有标签的数据,称为监督学习
-
分类
-
使用有标签的数据,称为监督学习
-
聚合
-
使用无标签的数据,称为无监督学习
机器学习最难的地方是收集数据,有大量需要人工的点 回归 含义:构建目标数据的回归函数 方法:最小二乘法 公式:E(θ)=1/2∑(y - f(x))的平方
-
E(θ)即误差值:目标使得E(θ)的值最小
-
f(x):模拟回归函数的值
-
为什么用平方?:考虑差值为负数情况,即在模拟函数下方的点
-
为什么有1/2?:方便微分
目标使得E(θ)最小 方式:微分,即求导 通过求导得到g(x)各个参数的“最速下降公式” 最速下降法:A:=B-学习率常数×微分g(x)
-
含义:通过B定义A
-
学习率常数:收敛速度
-
学习常数:常数越小,移动量越小,更新次数增加
-
缺点:每次训练会将所有数据代入公式计算,计算量大,计算时间长;且容易陷入局部最优解(即经济学中的帕累托最优)
注意:遇到问题时,在找出最适合的表达式前需要不断的尝试 多重回归 涉及两个及以上的变量对函数结果的影响
编辑
添加图片注释,不超过 140 字(可选)
注意:为了表达方便,将参数x和θ看做向量
编辑
添加图片注释,不超过 140 字(可选)
x与θ向量相乘
编辑
添加图片注释,不超过 140 字(可选)
求参数更新表达式
-
对θj微分
编辑
添加图片注释,不超过 140 字(可选)
-
得到更新表达式
编辑
添加图片注释,不超过 140 字(可选)
随机梯度下降法 对最速下降法的优化 含义:随机选择一个训练数据,来更新参数
编辑
添加图片注释,不超过 140 字(可选)
结果:对于有n个数据的函数,最速下降法训练一次,随机法能训练n次 还有小批量梯度下降法,每次取m个数据训练,1<m<n