【吴恩达机器学习2022学习笔记】课程1 -- 机器学习基础

吴恩达大佬又重新录了机器学习视频，借此机会重温并做笔记简单记录一下。课程共分成三门，首先是机器学习基础。

课程链接：https://www.bilibili.com/video/BV19B4y1W76i/?spm_id_from=333.788.recommend_more_video.1&vd_source=337295bc6e342e05e35b53ca8f411ebe

课程1-- 机器学习基础

1. 监督学习

给定X Y使得模型学习后可以对给定的任意X得到对应的Y。
预测问题：（X到Y的映射）例如预测房价，属于回归模型，可用直线或者曲线进行拟合。
分类问题： 预测类别（二分类0，1），找到对应的分类边界。

2. 无监督学习

数据与任何输出标签都不相关。没有数据标签,只有x没有y（Finding something interesting in unlabeled data)
聚类算法clustering： 将无标签数据分成两类或多类。
异常检测Anomaly detection： 金融欺诈等。
降维 Demensionality reduction: 将大数据集分成小数据集，尽可能减少数据丢失。

3. 线性回归模型

简单的线性回归：f(x)=wx+b

4. 代价函数

f(x)=wx+b，w和b是两个可学习的参数，为了衡量w,b对于真实值的匹配程度，采用代价函数来计算模型预测的y与真实值之间的差异。

计算真实值与模型预测值之间的误差。图中J(w,b)就是代价函数的定义，采用均方差计算误差。
目标：
minimize J(w,b)，线性回归的本质就是找到w,b使得代价函数J(w.b）的值最小。

采用等高线可视化代价函数J

5.梯度下降

通过不断梯度下降，找到使得代价函数最小的点。

梯度下降流程：同时更新w和b，α是学习率(即下降幅度)乘上w和b相对于J(w,b)的导数(即梯度下降的方向,想象二次函数切线)。

学习率α：
学习率越小，梯度下降越慢，需要多次梯度下降才能达到代价函数最小值，学习率越大，梯度下降越快，但容易跳过最小值，出现过拟合现象。可采用逐渐减小的学习率。

求导过程：

6.多种特征向量化

在python中，向量之间相乘采用np.dot(w,x)来进行计算

多元回归梯度下降就是将多个w,b逐一进行梯度下降算法，与上述计算相同。

7.特征工程

特征缩放：
通过适当的缩放数据的范围，使得参数取值范围在一个比较合理（容易计算）的区间，有利于后续梯度下降和可视化。

学习率选择：
按照我的经验来说，学习率一般从大往小开始实验。0.1、0.01、0.001…，可以使用渐变学习率，通过观察loss图像判断是否收敛。

特征工程：
这里主要是说选择合适的特征进行建模，会直接影响模型的拟合，因此要对研究的项目进行一个深入的理解，判断选择哪些特征作为模型的影响因素。

8.logistic 回归

通过激活函数，将函数的输出映射到0~1之间。
这里采用的是sigmiod激活函数，通常设置一个阈值0.5，高于阈值被认为是1，低于阈值被认为是0。根据分类可以得到一条决策边界线。

Logistic回归的损失函数

也就是交叉熵损失函数

按照对数的图像，可以将损失函数定义为如下公式：

两者的图像如下：

合并起来：

9.过拟合问题

什么是过拟合？
过拟合是指训练误差和测试误差之间的差距太大

解决方法：

1、采用更多的训练集
2、减少选择的特征：
减少一些过度影响分类结果的特征作为影响因素，类似于神经网络中的dropout。
3、正则化：
通过正则化，控制变量w的值使得模型不被修正的太严重。

10.正则化

减小w1 w2 w3…参数大小，使得模型不易出现过拟合现象。
思想：在最小化代价函数的同时，通过λ最小化参数的值。

梯度下降：

logistic回归正则化：

梯度下降：