1 前言
最近有朋友留言要求分享一下李沐老师的《动手学深度学习》,小汤本着一直坚持的“好资源大家一起分享,共同学习,共同进步”的初衷,于是便去找了资料,而且还是中文版的,分享给有需要的小伙伴,也希望有更多的朋友能在StrongerTang相遇。
《动手学深度学习》是今年6月刚出版的新书,是一本面向中文读者的能运行、可讨论的深度学习教科书。同时覆盖深度学习的方法和实践,不仅从数学的角度阐述深度学习的技术与应用,还包含可运行的代码,为读者展示如何在实际中解决问题。
主要面向希望了解深度学习,特别是对实际使用深度学习感兴趣的大学生、工程师和研究人员。阅读本书不要求读者有任何深度学习或者机器学习的背景知识,读者只需具备基本的数学和编程知识,如基础的线性代数、微分、概率及Python编程知识。附录中提供了书中涉及的主要数学知识,供读者参考。
2 简介
阿斯顿·张(Aston Zhang)
亚马逊应用科学家,美国伊利诺伊大学香槟分校计算机科学博士,统计学和计算机科学双硕士,专注于机器学习的研究。
李沐(Mu Li)
亚马逊首席科学家(Principal Scientist),加州大学伯克利分校客座助理教授,美国卡内基梅隆大学计算机系博士,专注于分布式系统和机器学习算法的研究,是深度学习框架MXNet的作者之一。
扎卡里·C. 立顿(Zachary C. Lipton)
亚马逊应用科学家,美国卡内基梅隆大学助理教授,美国加州大学圣迭戈分校博士,专注于机器学习算法及其社会影响的研究,特别是在时序数据与序列决策上的深度学习。
亚历山大·J. 斯莫拉(Alexander J. Smola)
亚马逊副总裁/ 杰出科学家,德国柏林工业大学计算机科学博士,曾在澳大利亚国立大学、美国加州大学伯克利分校和卡内基梅隆大学任教,研究兴趣包括深度学习、贝叶斯非参数、核方法、统计建模和可扩展算法。
《动手学深度学习》旨在向读者交付有关深度学习的交互式学习体验。书中不仅阐述深度学习的算法原理,还演示它们的实现和运行。与传统图书不同,本书的每一节都是一个可以下载并运行的Jupyter记事本,它将文字、公式、图像、代码和运行结果结合在了一起。此外,读者还可以访问并参与书中内容的讨论。
全书的内容分为3个部分:第一部分介绍深度学习的背景,提供预备知识,并包括深度学习最基础的概念和技术;第二部分描述深度学习计算的重要组成部分,还解释近年来令深度学习在多个领域大获成功的卷积神经网络和循环神经网络;第三部分评价优化算法,检验影响深度学习计算性能的重要因素,并分别列举深度学习在计算机视觉和自然语言处理中的重要应用。
之前,李沐老师等人曾以电子版的形式在 GitHub 上开源了这本书,目前该项目在 GitHub 上已获得超过 1.1 万星,并且中文版电子书还发布了纸质版书籍。
中文版开源地址:https://github.com/d2l-ai/d2l-zh
不过虽然本书非常优秀,但由于是使用 MXNet 框架写成的,而很多入坑机器学习的萌新们使用的却是 PyTorch或者 Tensorflow ,使得很多小伙伴“手拿美食,却又不知如何下手”。
幸运的是,最近一位北大大佬翻译了一份 Pytorch 版,原书中的 MXNet 代码全部改为PyTorch实现。
首先放上这份资源的 GitHub 地址:
https://github.com/ShusenTang/Dive-into-DL-PyTorch
然而,源项目由于是用Markdown写的,公式和代码显示的易读性较差,体验感不佳。最近,一位中国海洋大学大佬又将上面 PyTorch 版本的《动手深度学习》编译成完整的 PDF 文件。方便大家阅读及解决 GitHub 上公式显示不全的问题。
深度学习简介
2.1 环境配置
2.2 数据操作
2.3 ⾃动求梯度
3.1 线性回归
3.2 线性回归的从零开始实现
3.3 线性回归的简洁实现
3.4 softmax回归
3.5 图像分类数据集(Fashion-MNIST)
3.6 softmax回归的从零开始实现
3.7 softmax回归的简洁实现
3.8 多层感知机
3.9 多层感知机的从零开始实现
3.10 多层感知机的简洁实现
3.11 模型选择、⽋拟合和过拟合
3.12 权重衰减
3.13 丢弃法
3.14 正向传播、反向传播和计算图
3.15 数值稳定性和模型初始化
3.16 实战Kaggle⽐赛:房价预测
4.1 模型构造
4.2 模型参数的访问、初始化和共享
4.3 模型参数的延后初始化
4.4 ⾃定义层
4.5 读取和存储
4.6 GPU计算
5.1 ⼆维卷积层
5.2 填充和步幅
5.3 多输⼊通道和多输出通道
5.4 池化层
5.5 卷积神经⽹络(LeNet)
5.6 深度卷积神经⽹络(AlexNet)
5.7 使⽤重复元素的⽹络(VGG)
5.8 ⽹络中的⽹络(NiN)
5.9 含并⾏连结的⽹络(GoogLeNet)
5.10 批量归⼀化
5.11 残差⽹络(ResNet)
5.12 稠密连接⽹络(DenseNet)
6.1 语⾔模型
6.2 循环神经⽹络
6.3 语⾔模型数据集(周杰伦专辑歌词)
6.4 循环神经⽹络的从零开始实现6.4.1 one-hot向量
6.5 循环神经⽹络的简洁实现
6.6 通过时间反向传播
6.7 ⻔控循环单元(GRU)
6.8 ⻓短期记忆(LSTM)
6.9 深度循环神经⽹络
6.10 双向循环神经⽹络
7.1 优化与深度学习
7.2 梯度下降和随机梯度下降
7.3 ⼩批量随机梯度下降
7.4 动量法
7.5 AdaGrad算法
7.6 RMSProp算法
7.7 AdaDelta算法
7.8 Adam算法
8.1 命令式和符号式混合编程
8.2 异步计算
8.3 ⾃动并⾏计算
8.4 多GPU计算
9.1 图像增⼴
9.2 微调
9.3 ⽬标检测和边界框
9.4 锚框
10.1 词嵌⼊(word2vec)
10.2 近似训练
10.3 word2vec的实现
10.4 ⼦词嵌⼊(fastText)
10.5 全局向量的词嵌⼊(GloVe)
10.6 求近义词和类⽐词
10.7 ⽂本情感分类:使⽤循环神经⽹络
10.8 ⽂本情感分类:使⽤卷积神经⽹络(textCNN)
10.9 编码器—解码器(seq2seq)
10.10 束搜索
10.11 注意⼒机制
10.12 机器翻译
小汤本着交流学习的角度,在文末分享了该书的电子版,需要的小伙伴可以免费下载获取。但请勿用于任何商业用途,仅供自身学习参考使用。
当然,StrongerTang强烈支持该书版权所属,对于喜欢纸质实体书阅读的朋友,建议购买正版书籍阅读。
附加资源:
在线预览地址:
https://zh.d2l.ai/
课程视频地址:
https://space.bilibili.com/209599371/channel/detail?cid=23541
4 资料免费获取
最后,364页PyTorch版《动手学深度学习》电子版pdf已经打包完毕,需要的可以按照以下方式获取:
1.长按下方二维码关注 “StrongerTang” 公众号
2.公众号后台回复关键词:动手学深度学习
声明:此资料免费分享,仅作知识分享,勿用于任何商业用途。赠人玫瑰,手有余香!