Deep Learning 译文 - 目录

Deep Learning

Ian Goodfellow

Yoshua Bengio 

Aaron Courville

[源著者]

目录

网站

感谢

符号声明

1 介绍

1.1 谁应该使用本书

1.2 深度学习发展历程

I  实用的数学和机器学习基本知识

2  线性代数

2.1   标量，向量，矩阵和张量

2.2   矩阵和向量乘法

2.3   单位矩阵和逆矩阵

2.4   线性依赖和跨度？

2.5   矩阵规范化

2.6   矩阵和向量的特殊形式

2.7   特征值分解

2.8   奇异值分解

2.9   穆尔彭罗斯伪逆

2.10 迹算子

2.11 行列式

2.12 例子：主成分分析

3 概率与信息论

3.1为什么使用概率？

3.2随机变量

3.3概率分布

3.4边缘概率

3.5条件概率

3.6条件概率的链式规则

3.7完全独立和条件独立

3.8期望，方差和协方差

3.9常见的概率分布

3.10 常见函数的有用属性

3.11 贝叶斯规则

3.12 连续函数的技术细节

3.13 信息论

3.14 结构化概率模型？

4 数值计算

4.1 上溢和下溢

4.2 Poor Conditioning

4.3 基于梯度的优化

4.4 最优化约束

4.5 例子：线性最小二乘法

5 机器学习基本原理

5.1 学习算法

5.2 Capacity,过拟合和欠拟合

5.3 超参数和验证集

5.4 估计量，偏移值和方差

5.5 最大似然估计

5.6 贝叶斯统计

5.7 监督学习算法

5.8 无监督学习算法

5.9 随机梯度下降

5.10 构建机器学习算法

5.11 挑战深度学习？

II 深度网络：现代实践

6 深度前向网络

6.1 例子：学习异或

6.2 基于梯度的学习

6.3 隐藏层单元

6.4 架构设计

6.5 BP算法和其他不同算法

6.6 历史记录？

7 深度学习规则化

7.1 参数归一化惩罚

7.2 归一化惩罚作为条件最优化

7.3 正则化和欠约束问题

7.4 数据集增大

7.5 噪声鲁棒

7.6 半监督学习

7.7 多任务学习

7.8 早期中止

7.9 参数连接和参数共享

7.10 稀疏表达

7.11 Bagging and Other Ensemble Methods？

7.12 Dropout

7.13 对抗训练

7.14 切线距离，Tangent Prop和流行切分类器？

8 优化深度模型训练

8.1 与纯粹优化相比，学习如何不同

8.2 神经网络优化有哪些挑战

8.3 基本算法

8.4 参数初始化策略

8.5 自适应学习速率的算法

8.6 Approximate Second-Order Methods？

8.7 优化策略和Meta算法

9 卷积神经网络

9.1 卷积操作

9.2 激活

9.3 池化

9.4 卷积和池化作为最强先验信息

9.5 基本卷积函数的种类

9.6 结构化输出

9.7 数据类型

9.8 高效的卷积算法

9.9 随机的或无监督的特征

9.10 神经系统科学的有关知识

9.11 卷积神经网络和深度学习的历史渊源

10 序列化建模：循环和递归网络

10.1 展开计算图？

10.2 循环神经网络

10.3 双向RNN

10.4 编码-解码 序列-序列结构

10.5 深度循环网络

10.6 递归神经网络

10.7 长期依赖的挑战

10.8 回声状态网络

10.9 漏洞单元和多时间尺度的其他策略

10.10 LSTM和其他门限RNN

1011 长期依赖的优化方法

10.12 外显记忆

11 实用方法

11.1 性能度量

11.2 缺省的基本模型

11.3 决定是否收集更多数据

11.4 超参数的选择

11.5 调试策略

11.6 例子：多数字的识别

12 应用

12.1 大尺度深度学习

12.2 计算机视觉

12.3 语音识别

12.4 自然语音处理

12.5 其他应用

III 深度学习研究

 

13 线性因子模型

13.1 概率主成分分析和因子分析

13.2 独立成分分析

13.3 慢特征分析

13.4 稀疏编码

13.5 主成分分析的流形解释

14 自动编码器

14.1 undercomplete 编码器

14.2 规则化自动编码器

14.3 代表性的能量，层大小和深度

14.4 随机的编码和解码器

14.5 降噪自动编码器

14.6 自动编码器的学习形式

14.7 收缩自动编码器

14.8 预测的稀疏分解

14.9 自动编码器的应用

15 学习表达

15.1 贪婪的逐层无监督预训练

15.2 传输学习和区域自适应

15.3 半监督的因果因子的解耦

15.4 分布式表征

15.5 从深度获得指数级收益

15.6 提供线索发现潜在的原因

16 结构化的概率模型

16.1 非结构化模型的挑战

16.2 使用图来描述模型结构

16.3 从图模型中抽样

16.4 结构化模型的优势

16.5 关于依赖属性的学习

16.6 推理和模糊推理

16.7 结构化概率模型的深度学习方法

17 蒙特卡罗法

17.1 抽样和蒙特卡罗方法

17.2 重要性抽样

17.3 马尔科夫链蒙特卡罗方法

17.4 Gibbs抽样

17.5 分离模式融合挑战

18 配分函数

18.1 对数似然梯度

18.2 随机最大似然函数和对比散度

18.3 伪似然

18.4 得分匹配和比值匹配

18.5 去噪评分匹配

18.6 噪声对比评估

18.7 配分函数评估

19 相似推理

19.1 最优化推理

19.2 期望值最大化

19.3 MAP推理和稀疏编码

19.4 多样性的推理和学习

19.5 可学习的相似推理

20 常见的深度模型

20.1 玻尔兹曼机

20.2 受限玻尔兹曼机

20.3 深度置信网络

20.4 深度玻尔兹曼机

20.5 针对实数数据的玻尔兹曼机

20.6 可卷积的玻尔兹曼机

20.7 针对结构化或序列化输出的玻尔兹曼机

20.8 其他玻尔兹曼机

20.9 通过随机操作进行反向传播

20.10 定向生成网络

20.11 从自动编码器可视化样本

20.12 生成随机网络

20.13 其他生成机制

20.14 评价生成模型

20.15 结论

书目

索引