前言
感谢吴恩达老师,看完课程后对机器学习有了一个大概的了解,现在回顾一下整个课程。
在课程中个人印象机器学习过程主要分为以下几个部分:模型(监督和非监督)、代价函数、学习算法、检验与改进。本文便按照课程顺序从这几个方面进行目录性记录,方便回顾课程。
一、机器学习过程
- 模型(假设函数):h(x)
- 代价函数:J(theta)
- 学习算法
- 检验评价分析调整
二、模型
1. 监督学习模型
- 线性回归(单变量、多变量、多项式回归)- 逻辑回归(sigmoid函数)
- 多类别分类(h1(x)、h2(x)……)
- 神经网络
- 支持向量机
2. 非监督学习模型
- 聚类 K-means- 降维 PCA
- 异常检测:利用数据分布的概率(注意利用协方差)
- 推荐系统:协同过滤算法
三、学习算法(求参数 theta 最优值过程)
1. 批量梯度下降算法: 利用代价和偏导数下降,注意特征缩放和调整学习率
2. 正规方程: 直接计算导数为零的位置的参数值
3. 高级优化算法:fminunc
4. 反向传播算法:正向传播激活单元,反向传播误差,利用误差变化得到方向
5. 随机梯度下降
6. MapReduce并行分解加快速度
四、应用机器学习过程
- 诊断模型以改进:选择交叉验证集评估
偏差/方差分析
学习曲线
- 评价模型:
查准率 P
查全率 R
F1值
- 改进模型
数据量增减
特征值增减
归一化程度(正则化)