深度学习（Deep Learning）读书思考一：基本概念

概述

《Deep Learning》是大神Yoshua Bengio关于深度学习的一个全面概述，之前也出过很多综述类的文章。
该系列读书思考笔记主要记录深度学习中需要关注或者实际工业界使用的知识点或者技术，方便查阅和备忘。
本节可能会罗列很多技术点，后面慢慢补充。

人工智能图谱

机器学习的终极目标是人工智能（AI），目前AI的痛点在于人很容易理解的知识，机器很难去表示和执行，例如图片识别、语音识别、语义理解等。深度学习为人工智能打开了一个天窗，能够极大的改善很多学习任务。
深度学习在整个AI系统的位置

线性代数

1. 标量、向量、矩阵和张量
2. 线性独立概念
3. Norm：L1、L2、矩阵范数
4. 特征值分解：特征值和特征向量
5. SVD分解
6. 行列式
7. PCA

概率和信息论

概率论

为什么概率在机器学习中非常重要？大概原因包括内在误差、训练数据或者观测值不完备、模型不是完备的

1. 随机变量：离散变量、联系变量
2. 概率分布
3. 边缘概率
4. 条件概率
5. 条件概率的链式规则
6. 条件独立性
7. 期望、方差、协方差
8. 常见的概率分布
   
   • 伯努利分布-二元分布
   • Multinouli 多类分布
   • 高斯分布
   • 指数分布、拉普拉斯分布
   • 狄利克雷分布
   • 混合分布
9. 贝叶斯公式

信息论

1. 自信息
2. KL-散度

数值计算

1. 条件数：特征值最大和最小比值，越大越难优化
2. 梯度优化：GD、SGD
3. Jacobian 矩阵
4. Hessian矩阵
5. 泰勒展开
6. 牛顿方法、拟牛顿法
7. 受限约束优化
8. KKT 条件

机器学习概念

1. 机器学习定义：
2. 模型容量（Capacity）：衡量模型学习能力
3. 过拟合、欠拟合
4. No Free Lunch
5. 正则项
6. 假设空间和验证集
7. 偏差和方差
8. 估计量：点估计、最大后验估计、贝叶斯估计
9. 最大释然估计
10. 贝叶斯统计
11. 监督学习算法
12. 无监督算法

总结

本节只是简单概念罗列，概念具体含义可以参考wiki或者著作本身