零基础入门深度学习（二）：用一个案例掌握深度学习方法

授课讲师 | 毕然 百度深度学习技术平台部主任架构师 

授课时间 | 每周二、周四晚20:00-21:00 

编辑整理 | 刘威威 

内容来源 | 百度飞桨深度学习集训营

0

导读

本课程是百度官方开设的零基础入门深度学习课程，主要面向没有深度学习技术基础或者基础薄弱的同学，帮助大家在深度学习领域实现从0到1+的跨越。从本课程中，你将学习到：

1. 深度学习基础知识

2. numpy实现神经网络构建和梯度下降算法

3. 计算机视觉领域主要方向的原理、实践

4. 自然语言处理领域主要方向的原理、实践

5. 个性化推荐算法的原理、实践

本周为开讲第二周，百度深度学习技术平台部主任架构师毕然老师，继续开始零基础入门深度学习的授课。

毕老师发现，在实际工业实践中，面对新问题套用已有方案通常不会取得好效果，需要从初步建模的baseline出发，在建模的每个步骤寻求优化思路。本次课程即以此做演示，将适用于房价预测任务的线性回归模型，挪用到手写数字识别任务后，如何一步步的进行优化，实现最好的分类效果，让学员可以获得工业实践的真实体验。基于此，毕老师为大家精心准备了由浅入深，由点及面的教学课程。

本次讲课内容主要包括：

1. 数据处理和异步数据读取

2. 网络结构设计及背后思想

3. 损失函数介绍及使用方式

4. 模型优化算法介绍和选择

5. 分布式训练方法及实践

6. 模型训练调试与优化

7. 训练中断后恢复训练

下图概括了本次课程的主要授课知识点，课程内容涵盖深度学习的数据处理、模型设计、模型训练、模型优化等部分，另外扩展了异步数据读取，分布式训练、恢复训练等知识点。

图：本次课程授课知识框架

本文总结了毕然老师的讲课要点，不免疏漏一些生动的讲课案例，感兴趣的同学可从文末链接中直接观看课程。

01

第一节：数据处理与数据读取

深度学习算法工程师多被称为“炼丹师”，训练深度学习模型则等同于“炼丹”。殊不知，在炼丹之前，重要的一步就是“采药”。采药是炼丹的第一步，同训练深度模型需要准备训练数据。

官方给出的数据集比如ImageNet，MSCOCO，VOC等，这些数据都比较干净，没有标注错误或者漏标注的问题。但是如果是自己的业务数据集，数据可能存在各种问题，需要自己去实现数据处理的函数，构建数据读取器。

在本节课程中，毕老师以本地读取的mnist数据集为例，顺序讲解并用代码实现了：

1. 从文件中读取到数据；

2. 划分数据集为训练集，验证集；

3. 构建数据读取器（data_loader）

<