机器学习

‘’

第一章

• 监督学习：通过已有的训练样本（即已知数据以及其对应的输出）来训练，从而得到一个最优模型，再利用这个模型将所有新的数据样本映射为相应的输出结果，对输出结果进行简单的判断从而实现分类的目的，那么这个最优模型也就具有了对未知数据进行分类的能力。
• 无监督学习：事先没有任何训练数据样本，需要直接对数/。/。；l据进行建模

第二章 线性回归

• 假设函数/代价函数（碗装的图形）
  

• 梯度下降（重复算法，直到得到局部最优解。）
  
  

  拓展知识矩阵和向量

  1.Aij 向量：An1的矩阵
  2.加法和标量相乘
  3.矩阵向量乘法（mnXn1=m1）
  4.逆与转置

  第四章 多元线性回归

  多元梯度下降法
  

• 特征缩放： 有的时候我们的数据过大，会导致在使用梯度下降算法时候很难收敛，或者收敛很慢。确保不同特征的取值在相近的范围内，使得特征下降法可以更快的收敛
  

  1.使得特征值x最好在-1~1的范围内

• 均值归一化： 特征值等于x减去平均值再除以范围

• *学习率：*只要学习率足够小，代价函数都会下降。但收敛速度可能会慢。 但如果学习率太大。代价函数可能不会每次迭代都下降或者收敛。

• 多项式回归：
  
  正规方程法：
  

梯度下降法与正规方程法比较：

第六章 逻辑回归

- 逻辑回归 ：0<=h(x)<=1

• 决策界限
  -我们的假设函数，在处理数据的基础上在带入sigmoid函数，得到在0~1之间的值。
  

• 代价函数
  
  
• 梯度下降求最小值
  

第七章

• 过拟合问题
  解决办法：1，减少选取变量的数量。2，正则化。
  线性回归：
  1.正则化
  
  

1.1梯度下降变化

1.2正则线性回归

• 逻辑回归正则化
  
  

第八章 神经网络

• 结构：
  
  其中x1、x2、x3是输入单元，我们将原始数据输入给他们。a1、a2、a3是中间单元，呈递到下一层。最后是输出单元，负责计
  算
  

• 神经网络：
  
  其中，a^{_{i}{\left ( j \right )}}代表的是第j层的第i个激活单元。\Theta ^{\left ( j \right )}代表从第j层映射到第j+1层的权重（weight）。

• 前向传播算法：
  从左到右一点一点计算出假设函数
  6+
  

• 非线性假设模型
  

• 代价函数

• 逻辑回归的代价函数：
  
  逻辑回归中，只有一个输出变量，一个因变量。而神经网络中有什么输出变量，代价函数会复杂一些。
  

• 反向传播算法
  

• 训练神经网络的步骤
  1.权重theta随机初始化，范围-e~+e
  2.进行反向传播算法
  3.梯度检验
  4.梯度下降，才最小化代价函数J（色它）

第十章 评估假设

• 错误分类
• 模型选择和训练、验证
• 学习曲线
• 判断那个方法有效：
• 高偏差（欠拟合）：模型过于简单
• 高方差（过拟合）：模型过于复杂，训练数据太少

1. 收集更多的训练集–>解决高方差
2. 减少特征量–>解决高方差
3. 获得其他特征量
4. 增加多项式特征——>修正高偏差
5. 增大或减小郎母达

• 误差分析

第十二章 优化目标

• 大间隔分类器的数学原理
  
• 核函数
• 复杂特征：
• 核函数与相似函数：
  
• 例子：
  
• 使用核函数的SVM算法最小化问题
  
• 使用SVM
  1.选择参数C 2.选择要用的相似函数 3.选择参数死他平方 （高斯内核函数，n小m大时选择）
• SVM的参数
  

第十三章 无监督学习

• ** 聚类算法**
• 1.K均值算法（K-means算法）：是个迭代算法
  第一步：簇分配 第二步：移动聚类中心 然后反复第一二步
  
• ** 优化目标函数**
  
• ** 随机初始化**（应用于聚类数目小）
  1.随机选取一个样本作为聚类中心
  2.运行K均值算法，得到一系列C(1),C(2),C(m),u1,u2,uk
  3.计算优化目标函数
  4.选取代价最小的聚类数
• ** 选取聚类数量**
  1.肘部法则

第十四章 数据压缩

• 降维、可视化
• 降维算法——主成分分析方法（PCA）
  1.在使用PCA之前，先进行均值归一化和特征规范化，使x1,x2的均值为0
  2.找到低维平面，对数据进行投影，以使最小化投影误差的平方。
  
  2.1降维的过程
  2.1.1计算协方差：