授课讲师 | 毕然 百度深度学习技术平台部主任架构师
授课时间 | 每周二、周四晚20:00-21:00
编辑整理 | 刘威威
内容来源 | 百度飞桨深度学习集训营
0
导读
本课程是百度官方开设的零基础入门深度学习课程,主要面向没有深度学习技术基础或者基础薄弱的同学,帮助大家在深度学习领域实现从0到1+的跨越。从本课程中,你将学习到:
-
深度学习基础知识
-
numpy实现神经网络构建和梯度下降算法
-
计算机视觉领域主要方向的原理、实践
-
自然语言处理领域主要方向的原理、实践
-
个性化推荐算法的原理、实践
本周为开讲第二周,百度深度学习技术平台部主任架构师毕然老师,继续开始零基础入门深度学习的授课。
毕老师发现,在实际工业实践中,面对新问题套用已有方案通常不会取得好效果,需要从初步建模的baseline出发,在建模的每个步骤寻求优化思路。本次课程即以此做演示,将适用于房价预测任务的线性回归模型,挪用到手写数字识别任务后,如何一步步的进行优化,实现最好的分类效果,让学员可以获得工业实践的真实体验。基于此,毕老师为大家精心准备了由浅入深,由点及面的教学课程。
本次讲课内容主要包括:
-
数据处理和异步数据读取
-
网络结构设计及背后思想
-
损失函数介绍及使用方式
-
模型优化算法介绍和选择
-
分布式训练方法及实践
-
模型训练调试与优化
-
训练中断后恢复训练
下图概括了本次课程的主要授课知识点,课程内容涵盖深度学习的数据处理、模型设计、模型训练、模型优化等部分,另外扩展了异步数据读取,分布式训练、恢复训练等知识点。
图:本次课程授课知识框架
本文总结了毕然老师的讲课要点,不免疏漏一些生动的讲课案例,感兴趣的同学可从文末链接中直接观看课程。
01
第一节:数据处理与数据读取
深度学习算法工程师多被称为“炼丹师”,训练深度学习模型则等同于“炼丹”。殊不知,在炼丹之前,重要的一步就是“采药”。采药是炼丹的第一步,同训练深度模型需要准备训练数据。
官方给出的数据集比如ImageNet,MSCOCO,VOC等,这些数据都比较干净,没有标注错误或者漏标注的问题。但是如果是自己的业务数据集,数据可能存在各种问题,需要自己去实现数据处理的函数,构建数据读取器。
在本节课程中,毕老师以本地读取的mnist数据集为例,顺序讲解并用代码实现了:
-
从文件中读取到数据;
-
划分数据集为训练集,验证集;
-
构建数据读取器(data_loader)