【机器学习-Coursera Machine Learning-吴恩达】课程回顾

前言

    感谢吴恩达老师，看完课程后对机器学习有了一个大概的了解，现在回顾一下整个课程。

    在课程中个人印象机器学习过程主要分为以下几个部分：模型（监督和非监督）、代价函数、学习算法、检验与改进。本文便按照课程顺序从这几个方面进行目录性记录，方便回顾课程。

一、机器学习过程

 - 模型（假设函数）：h(x)
 - 代价函数：J(theta)
 - 学习算法

 - 检验评价分析调整

二、模型

1. 监督学习模型

 - 线性回归（单变量、多变量、多项式回归）
 - 逻辑回归（sigmoid函数）
 - 多类别分类（h1(x)、h2(x)……）
 - 神经网络

 - 支持向量机

2. 非监督学习模型

- 聚类 K-means
- 降维 PCA
- 异常检测：利用数据分布的概率（注意利用协方差）

- 推荐系统：协同过滤算法

三、学习算法（求参数 theta 最优值过程）

1. 批量梯度下降算法： 利用代价和偏导数下降，注意特征缩放和调整学习率
2. 正规方程： 直接计算导数为零的位置的参数值
3. 高级优化算法：fminunc
4. 反向传播算法：正向传播激活单元，反向传播误差，利用误差变化得到方向
5. 随机梯度下降

6. MapReduce并行分解加快速度

四、应用机器学习过程

- 诊断模型以改进：
      选择交叉验证集评估
      偏差/方差分析
      学习曲线
- 评价模型：
      查准率 P
      查全率 R
      F1值
- 改进模型
      数据量增减
      特征值增减
      归一化程度（正则化）