机器学习笔记2

机器学习笔记2

线性回归模型

整个线性回归网络的数学模型是F = kx +b 正如数学中学过的那样 k代表斜率，b代表偏差，由于它是机器学习过程中的监督学习方式，所以在给予计算机输入和输出情况下，将所给的例子用一个线性方程大致的模拟出来，这条线的方程既是kx+b，这就像是高中所学内容中的去求线性回归方程的斜率和偏差b一样。

代价函数

在选择不同的k，b的值时，我们所能得到的对所给数据的拟合度也不相同，有的可能跟偏差很大，有的就对结果的描述比较符合，这对于我们去描绘未来数据有着非常大的影响，在机器学习中，机器是没法直观的感觉是偏差大还是不大，要想让它学会进行判断，我们需要将我们的误差进行量化，根据量化数值来判断我们所建立的线性回归模型的好坏。
因此我们引用数学方差的形式进行量化，方差的公式就是将每一个
a=（实际点的值-线性回归模型的值）²进行逐项求和，再除以项数
利用此公式求得方差，在这个公式中，线性回归模型的k，b都是变量，而其他值都是常量，因此可以知道a是关于k，b的一个二元函数，在函数中，当我们的目的是为了让模型与实际情况更加拟合，实际就是让代价函数的值越小越好。
因此我们就将问题转化成了求a的最小值，多元函数求极值，我们引入梯度的概念：梯度是一个函数在某一个方向上的斜率，那我们想要去求一个函数的最小值势必要求我们在每一点的的梯度都是下降的，如果我们站在一座山上，我们想要下到山最低的地方，就要保证我们一直再往下走。

学习率

那我们的多元函数每一次下降应该怎么下降，应该下降多少呢，这是一个需要考虑的问题，我们引入学习率的概念，对我们的变量k和b都进行每一次的变化，以保证我们的代价函数达到最小值
k = k - αq
b = b - αp
q是a对k的偏导数，p是a对b的偏导数
此处的α就成为学习率，它代表这我们每一次k和b更新的多少，如果α较大，它每次迈的步子就比较大，如果我们山谷比作一个点，他很有可能达不到山谷出，因为迈的步子太大了，临近山谷时，很容易越过山谷，再回来时还是达不到山谷，但是如果α较小，意味着每次迈的步子也越小，这就容易导致到达山谷所用的步数较多，从计算机角度而言就是计算的次数要增加，所以选择合适的学习率的值非常重要。