0基础机器学习——数学回归篇（一）

机器学习就是从数学中找到特征和模式的技术 机器学习擅长的任务：

• 回归

• 处理连续数据如时间数据的技术

• 使用有标签的数据，称为监督学习

• 分类

• 使用有标签的数据，称为监督学习

• 聚合

• 使用无标签的数据，称为无监督学习

机器学习最难的地方是收集数据，有大量需要人工的点 回归 含义：构建目标数据的回归函数 方法：最小二乘法 公式：E（θ）=1/2∑（y - f（x））的平方

• E（θ）即误差值：目标使得E（θ）的值最小

• f（x）：模拟回归函数的值

• 为什么用平方？：考虑差值为负数情况，即在模拟函数下方的点

• 为什么有1/2?：方便微分

目标使得E（θ）最小 方式：微分，即求导 通过求导得到g（x）各个参数的“最速下降公式” 最速下降法：A：=B-学习率常数×微分g（x）

• 含义：通过B定义A

• 学习率常数：收敛速度

• 学习常数：常数越小，移动量越小，更新次数增加

• 缺点：每次训练会将所有数据代入公式计算，计算量大，计算时间长；且容易陷入局部最优解（即经济学中的帕累托最优）

注意：遇到问题时，在找出最适合的表达式前需要不断的尝试 多重回归 涉及两个及以上的变量对函数结果的影响

​

编辑

添加图片注释，不超过 140 字（可选）

注意：为了表达方便，将参数x和θ看做向量

​

编辑

添加图片注释，不超过 140 字（可选）

x与θ向量相乘

​

编辑

添加图片注释，不超过 140 字（可选）

求参数更新表达式

• 对θj微分

​

编辑

添加图片注释，不超过 140 字（可选）

• 得到更新表达式

​

编辑

添加图片注释，不超过 140 字（可选）

随机梯度下降法 对最速下降法的优化 含义：随机选择一个训练数据，来更新参数

​

编辑

添加图片注释，不超过 140 字（可选）

结果：对于有n个数据的函数，最速下降法训练一次，随机法能训练n次 还有小批量梯度下降法，每次取m个数据训练，1<m<n