机器学习课程学习周报一

---

摘要

在本次的吴恩达机器学习基础课程中学习的主要内容有：一、机器学习的概念及应用，监督学习、非监督学习的区别和概念。二、线性回归模型的基础知识，代价函数的概念及降低代价的梯度下降方法过程。

Abstract

The main contents of Andrew’s machine learning basic course include: First, the concept and application of machine learning, the difference and concept between Supervised learning and Unsupervised learning. Second, The basic knowledge of linear regression models, the concept of cost functions, and the gradient descent method process for reducing costs.

---

一、机器学习

1、什么是机器学习

根据阿瑟塞缪尔的定义，机器学习是赋予计算机学习能力的研究领域。机器学习就是让让机器在学习经验的过程中寻找到符合现实的模型，并不能够不断使用模型是机器本身表现得更好。具体而言，对于计算机系统，通过提供大量训练数据的同时按照给定的方法进行学习，在大量训练过程中学习训练数据的特征，并且通过不断地迭代进行参数优化使系统性能提高，使其能对相关问题进行预测。

2、机器学习的应用

通过机器学习让机器学会自己动手去做，可以完成如语音识别、计算机视觉处理、评论图像和广告等工作。随着机器学习在各个领域不断发展，在医学领域可以完成如X光诊断疾病，在汽车领域可以完成自动驾驶技术，在不久的将来机器学习将会在工业制造、大规模农业、医疗保健、电子商务和其他领域的有着更出色的应用。

3、监督学习和非监督学习

机器学习两种的主要类型是监督学习和非监督学习。监督性学习是指学习从x到y或输入、输出进行映射的一种算法，其中回归是一种特殊的监督性学习（预测数字x-y映射）。下图便是一个从输入x到输出y的一个映射列子，计算机通过此类学习，能有许多的应用方式。

非监督性学习，不定义输出集y的标签，只需找出输出集y中的特殊标识（让机器辨认出什么是特殊的、有趣的，什么样的数据会出现在输出集y中），其中聚类（集群）是非监督性学习的例子，即将具有类似结构的元素进行分组。下图便是一个集群的列子，计算机通过此类学习，将新闻中的词语进行一个分类，能让搜索引擎更加地“智能”。

监督学习和非监督学习的区别。前者更偏向找到一个正确的映射，而后者只需要进行一个“分类”。例如下图例子，根据年龄和肿瘤大小监督性学习需要找到一个正确的答案，而非监督性学习只需要找到一些特殊有趣的情况进行分类。

二、线性回归模型

1、线性回归模型

一种特殊类型的监督性学习模型，线性回归其实就是利用线性回归方程对一个或多个自变量与因变量进行建模的回归分析，即预测结果是一个或多个自变量的线性组合。若只有一个自变量，则称为一元线性回归;若有多个自变量则称为多元线性回归。在线性回归中，自变量之间的线性组合的系数称为模型参数。生活中其实有很多有着线性关系的变量，如身高与体重、住房面积与房价等。为了有效解决这些实际问题，最简单的方法就是利用线性回归。其中吴恩达老师的机器学习课程的列子就是预测房价，如下图所示，该例子就通过房子的面积大小x与房子价格y进行了一个从x到y的一个映射，一个很典型的一元线性回归列子，计算机通过学习能更好地根据房子大小对房价进行一个预测。

2、代价函数

代价函数是统计学和机器学习等领域的基础概念，它将随机事件或与其相关的随机变量的取值映射为非负实数，用来表示该随机事件的风险或代价的函数，通俗来讲就是用来表示预测值和真实值之间的差异大小，评价该线性回归方程与“实际真实值方程”的拟合程度的表示方法。下图是代价函数的表示方式，其中1/2m中的2是为了后续计算方便而使用的，后续会进行求导便会抵消掉。

下图是吴恩达老师课程中的一个例子，对线性回归方程F(x)进行处理，得到代价函数J(x,w,b)，右边的图像表示J随着w变化，值也会随之变化。当J的值越小表示其拟合程度越好，更符合实际。

3、梯度下降

梯度是微积分中一个的概念，在单变量的函数中，梯度其实就是函数的微分，代表着函数在某个给定点的切线的斜率。在多变量函数中，梯度是一个向量，向量有方向，梯度的方向就指出了函数在给定点的上升最快的方向。为了让优化代价函数使其能快速达到最小值即使预测的线性回归方程最拟合实际情况，我们可以通过梯度下降的方法找到一个“最快速的优化方法”对代价函数进行减小。

其中吴恩达老师的列子就是下山，梯度下降的基本过程就和下山的场景类似，如上图所示。首先，我们有一个可微分的函数。这个函数就代表着一座山，我们的目标就是找到这个函数的最小值。对应到函数中,就是找到给定点的梯度，然后朝着梯度相反的方向，就能让函数值下降得最快，因为梯度的方向就是函数值变化最快的方向。所以，我们重复利用这个方法反复求取梯度，最后就能到达局部的最小值，这就类似于我们下山的过程。

3.1、学习率

α在梯度下降算法中被称作为学习率，可以通过它来控制每一步走的距离，不能太大，也不能太小。如下图所示，α如果太小的话可能导致迟迟走不到最低点，α太大的话会导致错过最低点甚至导致会错过最低点走到相反方向的更大值处。梯度前加一个负号，就意味着朝着梯度相反的方向前进。梯度的方向实际就是函数在此点上升最快的方向，而我们需要朝着下降最快的方向走，自然就是负的梯度的方向，所以此处需要加上负号。

3.2、梯度下降更新算法

通过不断对参数不断进行梯度下降算法最终达到一个令人满意的预测线性回归方程。需要注意的一点是，线性回归方程的参数需要同时更新，否则会出现错误，如下图下方所示，可以先将更新的参数保存在一个形参中，到最后一起更新。设想一下，如果不以该方式进行更新，会导致前面的参数更新完了，后续参数应该以未更新的旧参数进行运算，但现在却以新参数进行运算，会一错再错导致模型出现严重的错误问题。

3.3、梯度下降求导

上文表示的梯度下降方程还不是最简单的形式，下图是推导出的梯度下降最简形式，前文提到的1/2m中的2便在这里出作用了，通过对参数w求导，其所在的平方项经过处理消去平方项，2/2便相互抵消了。

3.4、多类特征向量化

当线性回归方程拥有多个参数的时候，因为这些参数都是进行着相同的计算，为了更快地得出结果，计算机会选择将这些参数进行向量化，这样计算机能够更快速地进行运算。

3.5、多元线性回归的梯度下降法

与单个特征的一元线性回归方程相同，多元的线性回归的梯度下降方法也一样，在计算机中只需进行for循环对其进行处理。

---

总结

这是我第一次学习机器学习课程，初步了解到了机器学习的真正原理，从开始的“错误认识”到豁然开朗。在吴恩达老师的讲解下，结合现在使用的相关技术，我逐步认识到机器学习的广阔前景，兴趣也由此而生，尽管本周写的总结比较少，但是也是经过自己深刻思考做出的成果。继续保持对其的热情，继续坚持！