深度学习（Deep Learning）读书思考一：基本概念

概述

《Deep Learning》是大神Yoshua Bengio关于深度学习的一个全面概述，之前也出过很多综述类的文章。
该系列读书思考笔记主要记录深度学习中需要关注或者实际工业界使用的知识点或者技术，方便查阅和备忘。
本节可能会罗列很多技术点，后面慢慢补充。

人工智能图谱

机器学习的终极目标是人工智能（AI），目前AI的痛点在于人很容易理解的知识，机器很难去表示和执行，例如图片识别、语音识别、语义理解等。深度学习为人工智能打开了一个天窗，能够极大的改善很多学习任务。
深度学习在整个AI系统的位置

线性代数

1. 标量、向量、矩阵和张量
2. 线性独立概念
3. Norm：L1、L2、矩阵范数
4. 特征值分解：特征值和特征向量
5. SVD分解
6. 行列式
7. PCA

概率和信息论

概率论

为什么概率在机器学习中非常重要？大概原因包括内在误差、训练数据或者观测值不完备、模型不是完备的

1. 随机变量：离散变量、联系变量
2. 概率分布
3. 边缘概率
4. 条件概率
5. 条件概率的链式规则
6. 条件独立性
7. 期望、方差、协方差
8. 常见的概率分布
   
   • 伯努利分布-二元分布
   • Multinouli 多类分布
   • 高斯分布