机器学习----知识总结

机器学习----知识总结

1. 这部分是知识大纲，我用链接的形式写出标题，可以从这里直接浏览各部分的知识点。

2. 大纲目录暂时就是这些，我会按照目录逐渐补充知识，如果有需要另外补充的内容，我也会将他们补充到上面。
   在整理过程中，我发现知识总结非常全面，包括了对每个方法的应用及量化评价指标，我认为这些量化评价指标
   比算法还重要一些。因此对于知识总结中提到，课程中没学过的内容，我会尽量将他们补充到这里。

3. 在补充的时候发现之前写的文章用词不当或者内容有些错误，如果您在浏览的时候发现有错误的地方，请在评论区留言，我会尽快更正。

4. 对于网易云 16 章以后的内容，我将他们分到了 机器学习实际应用 中。

5. 神经网络是属于 深度学习 中的内容， 这部分内容将在最后处理。

6. 第一章的机器学习系统设计，如果是初学者不建议第一个浏览，建议学完非监督学习后再回顾。另外这部分内容我认为自己还没有比较深刻的理解，暂时不做。

知识总结参考地址：https://gitee.com/WjbStudyLife/stanford-cs-229-machine-learning/tree/master/zh


我在查找参考资料的时候发现有其他人已经整理好的课程笔记，最近会一直很忙，可能没时间整理，但至少每天一个小标题，时间多的话会多写几个。
有需要的可以先看这个，我也会从中参考一些内容。
http://www.ai-start.com/

1 机器学习系统设计

      1.1 应用机器学习系统的建议（优化系统）
             模型选择与训练集、验证集、测试集
             诊断偏差与方差
             学习曲线
      1.2 机器学习系统设计
             确定执行的优先级
             误差分析
             不对称性分类的误差评估
             精确度与召回率的权衡
             机器学习数据量对系统的影响

      1.3 预处理（这个暂时放到这，没找到适合的地方）
            特征归一化

2 监督学习

      2.1 共用知识——回归算法
             假设函数、损失函数、 成本函数
                   损失函数数学形式推导(待做)
             梯度下降算法
                   回归算法
      2.2 线性模型
             线性回归
                  何时使用
                   正规方程
             2.3 分类和逻辑回归
                   何时使用
                  Sigmoid 函数
                  决策边界
                  多元分类
            正则化
                  原理及原因
                  线性回归正化
                  逻辑回归正则化
                  正则方程正则化
      2.4 支持向量机
            何时使用
            SVM算法
            对SVM寻找大间隔的理解和解释
            核函数
                  线性核函数（无核）
                  高斯核函数
            使用SVM多元分类
      2.5 SVM与逻辑回归的比较与取舍

      2.5 生成学习
             高斯判别分析
             朴素贝叶斯
      2.6 基于树和集成的方法
      2.7 其他非参数接近
      2.8 学习理论

3 非监督学习

      3.1 聚类
            何时使用
             最大值期望
             K-均值聚类
                  K-均值聚类算法
                  聚类中心初始化
                  聚类中心数量的选择
             分层聚类
             聚类评价指标
      3.2 降维
            何时使用
             主成成份分析（PCA）
                  PCA 算法
                  主成成份的选择
             独立成分分析

4 机器学习实际应用

      4.1 异常检测
            何时使用
            高斯分布
            异常检测算法
            开发评估异常检测系统
            选择异常检测的特征
            多变量高斯分布
            多变量高斯分布的异常检测
      4.2 推荐系统
            何时使用
            基于内容的推荐算法
            协同过滤算法
            均值规范化
      4.3 大规模机器学习
            何时使用
            随机梯度下降
            最小批量梯度下降
            减小映射和数据并行
            应用举例—在线学习
      4.4 应用举例：照片OCR
            机器学习流水线
            获取大量数据与人工数据
            天花板分析—显著提升系统性能

5 深度学习

      5.1 神经网络
            随机初始化 θ 值
      5.2 卷积神经网络
      5.3 递归神经网络
      5.4 强化学习和控制

6 机器学习技巧

      6.1 矩阵
             分类
             回归
      6.2 模型选择
      6.3 诊断

7 复习

      7.1 概率论与数理统计
             介绍概率与组合
             条件概率
             随机变量
             联合分布随机变量
             参数估计
      7.2 线性代数和微分
             一般符号
             矩阵操作
             矩阵性质
             矩阵计算

8 补充内容

       1. 凸函数与非凸函数