中科院文新：深度学习入门基础与学习资源

不到现场，照样看最干货的学术报告！

嗨，大家好。这里是学术报告专栏，读芯术小编不定期挑选并亲自跑会，为大家奉献科技领域最优秀的学术报告，为同学们记录报告干货，并想方设法搞到一手的PPT和现场视频——足够干货，足够新鲜！话不多说，快快看过来，希望这些优秀的青年学者、专家杰青的学术报告 ，能让您在业余时间的知识阅读更有价值。

---

人工智能论坛如今浩如烟海，有硬货、有干货的讲座却百里挑一。“AI未来说·青年学术论坛”系列讲座由中国科学院大学主办，承办单位为中国科学院大学学生会，协办单位为中国科学院计算所研究生会、网络中心研究生会、人工智能学院学生会、化学工程学院学生会、公共政策与管理学院学生会、微电子学院学生会，百度为支持单位，读芯术、PaperWeekly为合作自媒体。“AI未来说·青年学术论坛”第八期“深度学习”专场已于2019年8月25日下午在中科院举行。中科院文新为大家带来报告《深度学习入门基础与学习资源》。

文新全场报告视频

文新，中国科学院信息工程研究所博士，现为中国科学院信息工程研究所高级工程师，新工科联盟人工智能协同育人工作委员会副秘书长、百度认证布道师，新工科深度学习师资培训负责人。主要从事计算机视觉、深度学习、对抗样本等方向研究工作，主持和参与了国家重点研发计划以及网信办、工信部、保密局等多个国家部委重大工程，出版教材《深度学习导论与应用实践》。

报告内容：本次报告主要包括深度学习概述、深度学习优势、深度学习入门基础和深度学习资源四个部分。

深度学习入门基础与学习资源

文新老师以了解不同层次学生代表的课程需求为开场，进而结合大家所关心的问题展开了讲解。现场本科生一二年级的需求主要是如何入门深度学习、如何选择人工智能的研究方向以及人工智能发展趋势和行业应用前景等；本科生三四年纪的需求主要是想了解人工智能入门门槛等；硕士生的需求主要是针对不成体系化的学习方式，如何才能拥有完整项目经验等；博士生的需求主要是想了解与人工智能发展结合比较紧密且有前景的行业等。

报告正式开始后，文新老师首先介绍了深度学习领域的大牛、大玩家、学术发展和就业前景。深度学习领域大牛包括获得2018年图灵奖的“深度学习三巨头”：YoshuaBengio、Yann LeCun、Geoffrey Hinton等学术界大佬，以及Andrew Ng等工业界大伽。深度学习领域大玩家主要包括facebook、Microsoft、Google、IBM以及百度等公司，其研究优势是有数据、有设备（算力）、有人才（算法）和有应用驱动。目前，深度学习学术影响力呈爆发式增长，且人才需求量呈指数级增长。

接着从图像识别说起，阐述了图像识别所面临的挑战，并介绍了传统方法及其存在的问题，由此引出了深度学习方法及其优势。同时，举例说明了深度学习无处不在但并非无所不能。图像识别的理想目标是让计算机像人一样理解图像，其实际目标是让计算机将语义概念相似的图像划分为同一类别。图像识别面临着语义鸿沟现象的挑战，即图像的底层视觉特性和高层语义概念之间的鸿沟，主要分为两类情况：相似视觉特性，不同语义概念；不相似视觉特性，相同语义概念。为应对上述挑战，传统方法采用全局视觉底层特性统计量表示图像，但存在全局特征丢掉图像细节的问题。

图像在识别的过程中经历了测量空间到特征空间，再到类别空间的转换。其中，将图像转换到特征空间是核心任务。传统方法采用人工特征提取+分类器，而深度学习方法直接学习特征。手工选取特征是一件非常费力、启发式（需要专业知识）的方法，能不能选取好很大程度上靠经验和运气，而且它的调节需要大量的时间，因此，深度学习方法的优势就凸显出来了。

深度学习与围棋有着很深的渊源，AlphaGo曾以3:0完胜柯洁，使得柯洁泪洒赛场。如今，深度学习无处不在，已经被广泛应用，如：搜素引擎中的网页、图片、视频、新闻、学术、地图；信息推荐中的新闻、商品、游戏、书籍；图片识别中的人像、用品、动物、交通工具；用户分析中的社交网络、影评、商品评论；以及机器翻译，摘要生成和生物信息学等。但是，深度学习并非无所不能，机器擅长规则、计算、模式，而人类擅长思想、创意、情感。

然后介绍了入门深度学习应掌握的数学基础、编程语言和深度学习常用库，并由机器学习的定义和相关概念引出了深度学习的模型、典型网络结构、一般过程以及难题与挑战。深度学习的数学基础包括：数据表示——标量、向量、矩阵和张量；优化基础——导数及应用；概率模型基础——概率论等。编程语言包括python、C++、C和java等。深度学习常用库包括numpy、pandas、PIL和matplotlib等。

深度学习是机器学习的一个子领域，而机器学习又是人工智能的一个子领域。对于某类任务T（Task）和性能度量P（PerformanceMeasure），一个计算机程序被认为可以从经验E（Experience）中学习是指：通过经验E改进后，计算机程序在任务T上由性能度量P衡量的性能有所提升。上述机器学习的概念包含了任务、模型、输入、性能评价和输出五个部分。而深度学习正是将机器学习中的模型取代为神经网络，且神经网络层数较多从而取名深度学习。

深度学习中的人工神经元是模仿生物神经元得到的数学模型。神经元之间的连接是多对多的关系，其输入包含多个上层神经元，输出包含多个下层神经元。多层神经网络可分为：输入层，接收输入信号；输出层，产生输出信号；隐含层，不直接与外部环境打交道，层数可从零到若干层。深度学习中典型网络结构包括：前馈/全连接神经网络、卷积神经网络和循环神经网络。

对于前馈/全连接神经网络，其结构为每层每个节点均和上一层的所有节点相连，存在着参数量巨大、不能充分应用数据的某些特性的问题。对于