文章目录 第五课第四课第三课第二课第一课 第五课 《序列模型》笔记列表Week 1循环序列模型Week 1 传送门 —>1.1 为什么选择序列模型1.2 数学符号1.3 循环神经网络1.4 通过时间的方向传播1.5 不同类型的循环神经网络1.6 语言模型和序列生成1.7 对新序列采样1.8 带有神经网络的梯度消失1.9 GRU 单元1.10 长短期机器 (LSTM)1.11 双向神经网络1.12 深层循环神经网络1.13 总结Week 2自然语言处理与词嵌入Week 2 传送门 —>2.1 词汇表征2.2 使用词嵌入2.3 词嵌入的特性2.4 嵌入矩阵2.5 学习词嵌入2.6 Word2Vec2.7 负采样2.8 GloVe 词向量2.9 情绪分类2.10 词嵌入除偏2.11 总结Week 3序列模型和注意力机制Week 3 传送门 —>3.1 基础模型3.2 选择最可能的句子3.3 定向搜索3.4 改进定向搜索3.5 定向搜索的误差分析3.6 Bleu 得分3.7 注意力模型直观理解3.8 注意力模型3.9 语音辨识3.10 触发字检测3.11 结论和致谢3.12 总结 第四课 《卷积神经网络》笔记列表Week 1卷积神经网络Week 1 传送门 —>1.1 计算机视觉1.2 边缘检测示例1.3 更多边缘检测内容1.4 Padding1.5 卷积步长1.6 三维卷积1.7 单层卷积网络1.8 简单卷积网络示例1.9 池化层1.10 卷积神经网络示例1.11 为什么使用卷积?1.12 总结Week 2深度卷积网络:实例探究Week 2 传送门 —>2.1 为什么要进行实例探究?2.2 经典网络2.3 残差网络2.4 残差网络为什么有用?2.5 网络中的网络以及1x1卷积2.6 谷歌 Inception 网络简介2.7 Inception 网络2.8 使用开源的实现方案2.9 迁移学习2.10 数据扩充2.11 计算机视觉现状2.12 总结Week 3目标检测Week 3 传送门 —>3.1 目标定位3.2 特征点检测3.3 目标检测3.4 卷积的滑动窗口实现3.5 Bounding Box 预测3.6 交并比3.7 非极大值抑制3.8 Anchor Boxes3.9 YOLO 算法3.10 候选区域3.11 总结Week 4特殊应用:人脸识别和神经风格转换Week 4 传送门 —>4.1 什么是人脸识别?4.2 One-Shot 学习4.3 Siamese 网络4.4 Triplet 损失4.5 面部验证与二分类4.6 什么是神经风格转换?4.7 什么是深度卷积网络?4.8 代价函数4.9 内容代价函数4.10 风格代价函数4.11 一维到三维推广4.12 总结 第三课 《结构化机器学习项目》笔记列表Week 1机器学习策略一Week 1 传送门 —>1.1 为什么是ML策略1.2 正交化1.3 单一数字评估指标1.4 满足和优化指标1.5 训练/开发/测试集划分1.6 开发集和测试集的大小1.7 什么时候该改变开发_测试集和指标1.8 为什么是人的表现1.9 可避免误差1.10 理解人的表现1.11 超越人的表现1.12 改善你的模型的表现[1.13 总结]Week 2机器学习策略二Week 2 传送门 —>2.1 误差分析2.2 清除标注错误的数据2.3 快速搭建你的第一个系统,并进行迭代2.4 在不同的划分上进行训练并测试2.5 不匹配数据划分的偏差和误差2.6 定位数据不匹配2.7 迁移学习2.8 多任务学习2.9 什么是端到端的深度学习2.10 是否要使用端到端的深度学习2.11 总结采访大牛采访传送门 —>Andrej KarpathyRuslan Salakhutdinov 第二课 《改善神经网络》笔记列表Week 1深度学习的实用层面Week 1 传送门 —>1.1 训练/开发/测试集1.2 偏差/方差1.3 机器学习基础1.4 正则化1.5 为什么正则化可以减少过拟合1.6 Dropout 正则化1.7 理解 Dropout1.8 其他正则化方法1.9 归一化输入1.10 梯度消失与梯度爆炸1.11 神经网络的权重初始化1.12 梯度的数值逼近1.13 梯度检验1.14 关于梯度检验实现的注记1.15 总结Week 2优化算法Week 2 传送门 —>2.1 Mini-batch 梯度下降2.2 理解 mini-batch 梯度下降法2.3 指数加权平均2.4 理解指数加权平均2.5 指数加权平均的偏差修正2.6 动量梯度下降法2.7 RMSprop2.8 Adam 优化算法2.9 学习率衰减2.10 局部最优的问题2.11 总结Week 3超参数调试、Batch正则化和程序框架Week 3 传送门 —>3.1 调试处理3.2 为超参数选择合适的范围3.3 超参数训练的实践: Pandas vs. Caviar3.4 正则化网络的激活函数3.5 将 Batch Norm 拟合进神经网络3.6 Batch Norm 为什么奏效3.7 测试时的 Batch Norm3.8 Softmax 回归3.9 训练一个 Softmax 分类器3.10 深度学习框架3.11 TensorFlow3.12 总结采访大牛采访传送门 —>YoshuaYuanqing Lin 第一课 《神经网络与深度学习》笔记列表Week 1深度学习概论Week 1 传送门 —>1.1 欢迎1.2 什么是神经网络1.3 用神经网络进行监督学习1.4 为什么深度学习会兴起1.5 关于这门课1.6 课程资源1.7 总结习题Week 2神经网络基础Week 2 传送门 —>2.1 二元分类2.2 Logistic 回归2.3 Logistic 回归损失函数2.4 梯度下降法2.5 导数2.6 更多导数的例子2.7 计算图2.8 计算图的导数计算2.9 Logistic 回归的梯度下降法2.10 m 个样本的梯度下降2.11 向量化2.12 向量化的更多例子2.13 向量化 Logistic 回归2.14 向量化 Logistic 回归的梯度输出2.15 Python 中的广播2.16 关于 Python Numpy 向量的说明2.17 Jupyter/iPython 笔记本的快速指南2.18 Logistic 损失函数的解释2.19 总结习题Week 3浅层神经网络Week 3 传送门 —>3.1 神经网络概览3.2 神经网络表示3.3 计算神经网络的输出3.4 多个例子中的向量化3.5 向量化实现的解释3.6 激活函数3.7 为什么需要非线性激活函数3.8 激活函数的导数3.9 神经网络的梯度下降法3.10 直观理解反向传播3.11 随机初始化3.12 总结习题Week 4深层神经网络Week 4 传送门 —>4.1 深层神经网络4.2 深层网络中的前向传播4.3 核对矩阵的维数4.4 为什么使用深层表示4.5 搭建深层神经网络块4.6 前向和反向传播4.7 参数 vs. 超参数4.8 这和大脑有什么关系4.9 总结习题采访大牛采访传送门 —>Geoffery HintonPieter AbbeelIan Goodfellow