人工智能笔记之机器学习原理

机器学习原理

学习完数学理论就差不多该开始学习机器学习的原理了，现在流行的深度学习和强化学习，基本都是基于机器学习的原理，机器学习是基础，所以需要先了解机器学习是什么，怎么实现的。

1. 机器学习的本质

机器学习的本质是找到一个功能函数，这个函数会根据我们的输入，返回一个结果。所谓函数就是输入了一个或几个变量（x）,通过数学转换之后输出一个数据（y）,所以只要确定了数学转换的算法，以及算法中所需要的参数，就能确定这个函数。

2. 机器学习任务及具体步骤

机器学习的核心任务有两个，首先是找到合适的算法，其次是计算该算法所需要的参数。一般我们举一个最简单的函数，如 $y=wx+b$，其中w是变量的系数，代表权重，参数b是常量，代表偏置量。通过给出大量的x值和y值，算出w和b，那么就可以得出具体的功能函数，我们也就找到规律了，有了具体的函数，根据输入x的值，我们就知道输出的y值了，这就是机器学习，具体的步骤如下：

根据x,y值的输入，推算规律

x	y
12	33
45	34
32	3
56	43
…	…

1. 算法选择：选用最简单的线性函数 $y=wx+b$
2. 初始化参数：就是给w，b一个初始的值，这个初始的值是个随机数
3. 计算误差：现在已经知道了w和b，那么就可以把样本数据中的x带入函数中求y值，为了避免混淆把这次算出的y值记作$y^{hat}$，然后通过计算误差的函数计算误差，计算误差函数为
   $$J(w,b)=\sum _{i=I}^n[(wx+b)-y{]}^2$$
4. 判断学习是否完成：每次计算出来的误差相互对比，总误差不超过0.0001，就认为学习已经完成。
5. 调整参数：学习的目的是为了把误差降到最低，根据数学知识我们知道，沿着误差函数的导数方向调整参数，误差函数就可以变小了。即，用现有的误差公式求对参数w的偏导数，以及对参数b的偏导数，就能得到$\Delta w，\Delta b$，再用原来的参数w,b减去$\Delta w，\Delta b$，就实现了对参数的调整，每次只调整1%，这个1%就是学习率 $\eta$。
   具体过程如下：
   $$\begin{gathered} w=w-\eta \Delta w \\ b=b-\eta \Delta b \end{gathered}$$
   利用符合函数的求导公式：
   $$f(g(x){)}^{\prime }=f^{\prime }(x)g^{\prime }(x)$$，令 $g(x)=wx+(b-y)$,
   $$f(g(x))=\sum _{i=I}^n[wx+(b-y){]}^2$$，上述误差函数的偏导数分别为
   $$\begin{gathered} \Delta w=\frac{\partial }{\partial w}J(w,b)=\sum _{i=1}^{n}2(wx+b-y)x \\ \Delta b=\frac{\partial }{\partial b}J(w,b)=\sum _{i=1}^{n}2(wx+b-y) \end{gathered}$$
6. 反复迭代，根据步骤3计算的误差，再次进行步骤4和步骤5的迭代循环，直到误差变得足够小，此时的w和b值就是机器学习要找的参数。以后就可以用这个具体的功能函数根据任意一个新的x值，计算出对应的y值了。

3. 机器学习的复杂化

现实中基本不可能只存在一个变量，影响事务发展的因素也不可能只有一个，所以将线程方程复杂化之后，我们得出一个公式：
$$h(\theta )={\theta }_0{x}_0+{\theta }_1{x}_1+\cdots +{\theta }_n{x}_n=\sum _{i=1}^n{\theta }_i{x}_i$$
其中$\theta$代表权重，n是变量的个数。之后我们就可以得出损失函数，也叫代价函数，可以用公式表示为：
$$J(\theta )=\sum _{i=1}^n(h_{\theta }(x^{(i)})-y^{(i)}{)}^2$$
其中m表示样本数据的个数，机器学习的目标就是让损失函数足够小，而办法就是不断的调整$\theta$，调整的方法就是对$J(\theta )$求偏导数。