【机器学习笔记3】多元线性回归的求解

这里主要理解一下代价函数，梯度下降，正规方程。

（此文为难点的记录和理解，作为跟学教程来看显然是不可取的）

假设有训练样本(x, y)，模型为h，参数为θ。h(θ) = θTx（θT表示θ的转置）。

关于代价函数J(θ)（如下图），目前的理解就是预测值和实际值之间的差值，这个差值越小越好，而实现这个差值优化最常用的方式就是梯度下降。这里的梯度就是代价函数J(θ)对θ1, θ2, ..., θn的偏导数。由于需要求偏导，我们可以得到另一个关于代价函数的性质：

• 选择代价函数时，最好挑选对参数θ可微的函数（全微分存在，偏导数一定存在）

方向导数：某一点（x，y）延曲面在某一方向上的导数

梯度下降算法：

其实很简单就是说拿一个随便的点，减去他的导数和学习率的乘积，就能逐步逼近最低点。当然这里学习率是一个自己设定的值，通用的方法就是一步步试探，从0.001开始往上。但后来我了解到有一些扩展包fast.ai上有相应封装好的函数到时候直接拿来用就好了。J(θ)是代价函数直接带入就能迭代出最后结果。

特征缩放（平均归一化）：让所有特征的数值更接近一些，更容易的得到极值。例如，让所有的值都在1-100的范围内，把另一个特征的0.1-0.5扩大范围往里放。（可用均值来估计换范围公式）

多项式回归：如果不能很好地拟合数据，我们的假设函数不必是线性的（直线）。我们可以通过使其成为二次，三次或平方根函数（或任何其他形式）来改变我们的假设函数的行为或曲线。

正规方程：就是利用一个柿子，（我没记住，大概是把因素数据列成一个矩阵，y值列成一个向量，他俩做运算）来计算出θ值。缺点：看他的计算公式可知要计算n*n维的一个矩阵的转置，这种运算对于超过一万的数据量就太慢了。要注意当矩阵不可逆的时候的处理方式。。。（这个等复习线性代数的时候再回来学）

说明：本文图截自AndrewNg的神经网络学习课程中，文字仅为个人理解。

tip：因为学习用到一些长篇大论的英文试题和考试，所以在此献上一个翻译pdf的办法，分三步，第一用word打开pdf，他能直接进行格式转化；第二把word文档存成xml网页格式；第三打开index(要确保文件夹和index在一个目录下）。不翻墙不花钱。。。是的本博主又穷又懒。。。

后：跟人工智障还智障的博主龟速更ing。。。