机器学习浅尝一下

在b站上学习吴恩达老师的机器学习有感，插个眼大致做个初步笔记并不断补充，看别人的笔记不如自己做笔记印象来得深刻，建议大家都去听一遍。
哔哩哔哩传送门：https://www.bilibili.com/video/BV164411b7dx?p=1

机器学习：使计算机具有自主学习能力，从经验E中进行学习，在提高性能度量P中完成任务T。

1. 常用的的机器学习算法
   监督学习：教计算机做某事
   无监督学习：让计算机自己学习
   半监督学习：（学习样本中部分记录有结果标记）
2. 机器学习三大基本模型
   分类模型、回归模型（RM）、聚类模型
3. 支持向量机算法：允许计算机处理无穷多的特征
   一种二分类模型，它的基本模型是定义在特征空间上的间隔最大的线性分类器。

一、First Day

1. 监督学习

给算法一个数据集，其中包含了正确答案y

1.1 分类算法

通过对训练集的学习将属性映射到目标上，预测离散值0、1或两个以上的离散输出。

分类算法常用的评估指标：
精确率：预测结果与实际结果的比例
召回率：预测结果中某类结果的正确覆盖率
F1-Score：统计量，综合评估分类模型的指标，取值0~1之间，越大模型可用度越高

分类算法：KNN算法、决策树
分类模型：logistic回归模型（可包含多个非线性项）

1.2 回归算法

设法预测一个连续值的输出 ，让一条直线拟合数据，可用二次函数或二阶多项式

回归算法：KNN算法
回归模型：线性模型(Linear Model)、多项式模型(Polynomial Model)
（训练集特征次数越高，拟合所涵盖的范围越广，预测也越准确，但过于复杂的模型可能产生过拟合问题）

损失函数loss：评价模型所产生的预测结果的一个函数，根据损失函数的反馈值调整参数

2. 无监督学习

从无标记的训练数据中推断结论

2.1 聚类算法

自动按照的到的类型将个体分成不同的簇，例如谷歌新闻的标签分簇行为，聚类分析所使用的方法不同，往往会得出不同的结论。

聚类算法：K-Means

2.2 鸡尾酒会算法

帮忙找出数据的类型结构，分离被混合到一起的音频源

3. 模型描述

m：表示训练样本的数量
x：表示输入变量/特征
y：表示预测输出的目标变量
(x,y)：一个训练样本
(x^(i) ,y^(i))：特定第i个训练样本
h：假设函数，一个引导从x得到y的函数

4. 线性回归：一元线性回归（单变量线性回归）

假设函数h(x)=a+bx如何决定参数a、b，将最有可能的直线与我们的数据相拟合？
即要解决关于a、b的最小化问题，减少假设的输出值与真实值之间的差平方。

定义一个代价函数（平均误差函数、平方误差代价函数）
=样本数的一半 * (输出值与真实值之间的差平方之和）
要找到使代价函数为最小值的参数是多少

5. 梯度下降算法

初始化参数，使代价函数不断变小，直至找到最小值或局部最优值

学习速率代表着改变参数引起变化的步伐，太小的话梯度下降过慢，太大的话可能越过最优点无法收敛甚至发散。

假如初始化等于局部最优点，导数项会等于0，梯度下降法不会改变什么。

当我们接近局部最优点时，梯度下降法会自动采取更小的幅度。

6. 将梯度下降法应用到最小化平方差代价函数（Batch梯度下降算法）

二、Second Day

1. 多功能/多变量 Multiple features（variable）

x1	x2	x3	x4	y
1	2	3	4	5
1	2	1	4	7
1	2	2	7	4

特征量 n = 4
样本数量 m = 3
第i个训练样本的输入特征值 x^(1) = [1 2 3 4]^T ：四维的特征向量（一列而不是一行）
第i个训练样本的输出值 y^(1) = [5]
h(x) = a^(T) · x = a0x0+a1x1+…+anxn

2. 多元梯度下降法

①如何设定假设的参数？
②使用多元梯度下降法处理多元线性回归

代价函数

梯度下降（不断更新参数）

3. 多元梯度下降法——特征缩放法

并不需要太精准，只是为了让梯度下降，收敛所需的迭代少一点，运行的快一点

3.1 特征值

不同特征的取值在相近的范围内，能使梯度下降法能快收敛

一般将特征值的取值约束到-1到+1的范围内，或者附近范围足够接近

3.2 均值归一化

x属于（0,2000）
x1 = (size - 范围均值）/（范围差值）

4. 多元梯度下降法——学习率

适用于回归模型，只要学习率足够小，每次迭代之后的代价函数J(θ)都会下降。

4.1 确保梯度下降正常工作

梯度下降法->找到θ值，并希望能够最小化代价函数J(θ)

①通过迭代次数-代价函数值图像，得到J(θ)逐步下降的趋势，判断梯度下降法是否已经收敛

②自动收敛测试（通