深度学习期末复习

学期内容回顾

一、人工智能的概念，发展历程及每个历程的特点和代表性理论或算法，或主要驱动力

二、人工神经网络ANN的前向传播计算和误差反向回传原理

三、卷积神经网络CNN的前向传播计算和误差反向回传原理

注意对比分析ANN与CNN的相同之处和不同之处，深入理解卷积运算的概念和本质
掌握卷积后的特征图尺寸的计算方法

四、神经网络优化
掌握常见激活函数
了解权值初始化的技术
理解训练神经网络的优化技术：SGD，Momentum，Adagrad， RMSProp，Adam等

五、深入理解各种类型的卷积操作
NiN，1x1卷积
Inception块
Residual 块
空洞卷积
转置卷积/逆卷积
池化，上采样
分组卷积
深度可分离卷积

六、理解掌握常见的面向目标识别(分类)的卷积神经网络
LeNet
AlexNet
VGG
Inception v3
ResNet
学会设计和实现卷积神经网络结构

七、掌握常见的深度学习损失函数
Softmax Loss/Softmax Cross Entropy Loss
BCE
L1 Loss
Smooth L1 Loss/Huber Loss
Focal Loss
Dice Loss

八、深度学习目标检测
深入理解YOLO V3和Faster R-CNN系列的目标检测算法及其技术细节
归纳其相同之处和不同之处，及各自的优缺点

了解SSD和Mask R-CNN目标检测算法

九、深度学习图像分割
深入理解FCN和U-Net语义分割网络的原理，及其相同之处和不同之处
了解DeepLabs，Mask R-CNN等前沿的语义分割算法。

1.人工智能的概念，发展历程及每个历程的特点和代表性理论或算法，或主要驱动力

人工智能，就是用机器模拟人的意识和思维。

机器学习，则是实现人工智能的一种方法，是人工智能的子集。

深度学习就是深层次神经网络，是机器学习的一种实现方法，是机器学习的子集
人工智能（ArtificialIntelligence），英文缩写为AI。是计算机科学的一个分支。人工智能是对人的意识、思维的信息过程的模拟。人工智能不是人的智能，但能像人那样思考、也可能超过人的智能。数学常被认为是多种学科的基础科学，数学也进入语言、思维领域，人工智能学科也必须借用数学工具。

人工智能实际应用：机器视觉，指纹识别，人脸识别，视网膜识别，虹膜识别，掌纹识别，专家系统，自动规划，智能搜索，定理证明，博弈，自动程序设计，智能控制，机器人学，语言和图像理解，遗传编程等。人工智能目前也分为：强人工智能(BOTTOM-UPAI)和弱人工智能(TOP-DOWNAI)，

强人工智能观点认为有可能制造出真正能推理（Reasoning）和解决问题（Problem_solving）的智能机器，并且，这样的机器将被认为是有知觉的，有自我意识的。可以独立思考问题并制定解决问题的最优方案，有自己的价值观和世界观体系。有和生物一样的各种本能，比如生存和安全需求。在某种意义上可以看作一种新的文明。
弱人工智能是指不能制造出真正地推理（Reasoning）和解决问题（Problem_solving）的智能机器，这些机器只不过看起来像是智能的，但是并不真正拥有智能，也不会有自主意识。

人工智能发展简史

1、 人工智能的诞生（20世纪40～50年代）

1950年：图灵测试

1950年，著名的图灵测试诞生，按照“人工智能之父”艾伦·图灵的定义：如果一台机器能够与人类展开对话（通过电传设备）而不能被辨别出其机器身份，那么称这台机器具有智能。同一年，图灵还预言会创造出具有真正智能的机器的可能性。

1954年：第一台可编程机器人诞生

1954年美国人乔治·戴沃尔设计了世界上第一台可编程机器人。

1956年：人工智能诞生

1956年夏天，美国达特茅斯学院举行了历史上第一次人工智能研讨会，被认为是人工智能诞生的标志。会上，麦卡锡首次提出了“人工智能”这个概念，纽厄尔和西蒙则展示了编写的逻辑理论机器。

2、 人工智能的黄金时代（20世纪50～70年代）

1966年~1972年：首台人工智能机器人Shakey诞生

1966年~1972年期间，美国斯坦福国际研究所研制出机器人Shakey，这是首台采用人工智能的移动机器人。

1966年：世界上第一个聊天机器人ELIZA发布

美国麻省理工学院（MIT）的魏泽鲍姆发布了世界上第一个聊天机器人ELIZA。ELIZA的智能之处在于她能通过脚本理解简单的自然语言，并能产生类似人类的互动。

1968年：计算机鼠标发明

1968年12月9日，美国加州斯坦福研究所的道格·恩格勒巴特发明计算机鼠标，构想出了超文本链接概念，它在几十年后成了现代互联网的根基。

3、 人工智能的低谷（20世纪70～80年代）

20世纪70年代初，人工智能遭遇了瓶颈。当时的计算机有限的内存和处理速度不足以解决任何实际的人工智能问题。要求程序对这个世界具有儿童水平的认识，研究者们很快发现这个要求太高了：1970年没人能够做出如此巨大的数据库，也没人知道一个程序怎样才能学到如此丰富的信息。由于缺乏进展，对人工智能提供资助的机构（如英国政府、美国国防部高级研究计划局和美国国家科学委员会）对无方向的人工智能研究逐渐停止了资助。美国国家科学委员会（NRC）在拨款二千万美元后停止资助。

4、 人工智能的繁荣期（1980年~1987年）

1981年：日本研发人工智能计算机

1981年，日本经济产业省拨款8.5亿美元用以研发第五代计算机项目，在当时被叫做人工智能计算机。随后，英国、美国纷纷响应，开始向信息技术领域的研究提供大量资金。

1984年：启动Cyc（大百科全书）项目

在美国人道格拉斯·莱纳特的带领下，启动了Cyc项目，其目标是使人工智能的应用能够以类似人类推理的方式工作。

1986年：3D打印机问世

美国发明家查尔斯·赫尔制造出人类历史上首个3D打印机。

5、 人工智能的冬天（1987年~1993年）

“AI（人工智能）之冬”一词由经历过1974年经费削减的研究者们创造出来。他们注意到了对专家系统的狂热追捧，预计不久后人们将转向失望。事实被他们不幸言中，专家系统的实用性仅仅局限于某些特定情景。到了上世纪80年代晚期，美国国防部高级研究计划局（DARPA）的新任领导认为人工智能并非“下一个浪潮”，拨款将倾向于那些看起来更容易出成果的项目。

6、 人工智能真正的春天（1993年至今）

1997年：电脑深蓝战胜国际象棋世界冠军

1997年5月11日，IBM公司的电脑“深蓝”战胜国际象棋世界冠军卡斯帕罗夫，成为首个在标准比赛时限内击败国际象棋世界冠军的电脑系统。

2011年：开发出使用自然语言回答问题的人工智能程序

2011年，Watson（沃森）作为IBM公司开发的使用自然语言回答问题的人工智能程序参加美国智力问答节目，打败两位人类冠军，赢得了100万美元的奖金。

2012年：Spaun诞生

加拿大神经学家团队创造了一个具备简单认知能力、有250万个模拟“神经元”的虚拟大脑，命名为“Spaun”，并通过了最基本的智商测试。

2013年：深度学习算法被广泛运用在产品开发中

Facebook人工智能实验室成立，探索深度学习领域，借此为Facebook用户提供更智能化的产品体验；Google收购了语音和图像识别公司DNNResearch，推广深度学习平台；百度创立了深度学习研究院等。

2015年：人工智能突破之年

Google开源了利用大量数据直接就能训练计算机来完成任务的第二代机器学习平台Tensor Flow；剑桥大学建立人工智能研究所等。

2016年：AlphaGo战胜围棋世界冠军李世石

2016年3月15日，Google人工智能AlphaGo与围棋世界冠军李世石的人机大战最后一场落下了帷幕。人机大战第五场经过长达5个小时的搏杀，最终李世石与AlphaGo总比分定格在1比4，以李世石认输结束。这一次的人机对弈让人工智能正式被世人所熟知，整个人工智能市场也像是被引燃了导火线，开始了新一轮爆发。
2016年3月9日，韩国，李世石人机围棋大战引广泛关注，韩国民众纷纷观战电视直播。

① 1942年：“机器人三定律”提出

美国科幻巨匠阿西莫夫提出“机器人三定律”，后来成为学术界默认的研发原则。

② 1956年：人工智能的诞生

达特茅斯会议上，科学家们探讨用机器模拟人类智能等问题，并首次提出了人工智能（AI）的术语，AI的名称和任务得以确定，同时出现了最初的成就和最早的一批研究者。

③ 1959年：第一代机器人出现

德沃尔与美国发明家约瑟夫·英格伯格联手制造出第一台工业机器人。随后，成立了世界上第一家机器人制造工厂——Unimation公司。

④ 1965年：兴起研究“有感觉”的机器人

约翰·霍普金斯大学应用物理实验室研制出Beast机器人。Beast已经能通过声纳系统、光电管等装置，根据环境校正自己的位置。

⑤ 1968年：世界第一台智能机器人诞生

美国斯坦福研究所公布他们研发成功的机器人Shakey。它带有视觉传感器，能根据人的指令发现并抓取积木，不过控制它的计算机有一个房间那么大，可以算是世界第一台智能机器人。

⑥ 2002年：家用机器人诞生

美国iRobot公司推出了吸尘器机器人Roomba，它能避开障碍，自动设计行进路线，还能在电量不足时，自动驶向充电座。Roomba是目前世界上销量较大的家用机器人。

⑦ 2014年：机器人首次通过图灵测试

在英国皇家学会举行的“2014图灵测试”大会上，聊天程序“尤金·古斯特曼”（Eugene Goostman）首次通过了图灵测试，预示着人工智能进入全新时代。

⑧ 2016年：AlphaGo打败人类

2016年3月，AlphaGo对战世界围棋冠军、职业九段选手李世石，并以4:1的总比分获胜 。这并不是机器人首次打败人类事件。

一、1950-1970年代，人工智能的“推理时代”。
赫本于1949年基于神经心理学的学习机制开启机器学习的第一步。此后被称为Hebb学习规则。Hebb学习规则是一个无监督学习规则，这种学习的结果是使网络能够提取训练集的统计特性，从而把输入信息按照它们的相似性程度划分为若干类。这一点与人类观察和认识世界的过程非常吻合，人类观察和认识世界在相当程度上就是在根据事物的统计特征进行分类。
从上面的公式可以看出，权值调整量与输入输出的乘积成正比，显然经常出现的模式将对权向量有较大的影响。在这种情况下，Hebb学习规则需预先定置权饱和值，以防止输入和输出正负始终一致时出现权值无约束增长。
Hebb学习规则与“条件反射”机理一致，并且已经得到了神经细胞学说的证实。比如巴甫洛夫的条件反射实验：每次给狗喂食前都先响铃，时间一长，狗就会将铃声和食物联系起来。以后如果响铃但是不给食物，狗也会流口水（当然这个实验也被认为是广告学、神经学的开始）。
1950年，阿兰·图灵创造了图灵测试来判定计算机是否智能。图灵测试认为，如果一台机器能够与人类展开对话（通过电传设备）而不能被辨别出其机器身份，那么称这台机器具有智能。这一简化使得图灵能够令人信服地说明“思考的机器”是可能的。
2014年6月8日，一个叫做尤金·古斯特曼的聊天机器人成功让人类相信它是一个13岁的男孩，成为有史以来首台通过图灵测试的计算机。这被认为是人工智能发展的一个里程碑事件。但是这比图灵自己预测的时间晚了整整14年。
1956年夏季，以麦卡赛、明斯基、罗切斯特和申农等为首的一批有远见卓识的年轻科学家在一起聚会，共同研究和探讨用机器模拟智能的一系列有关问题，并首次提出了“人工智能”这一术语，它标志着“人工智能”这门新兴学科的正式诞生。
1957年，罗森·布拉特基于神经感知科学背景提出了第二模型，非常的类似于今天的机器学习模型。这在当时是一个非常令人兴奋的发现，它比赫布的想法更适用。基于这个模型罗森·布拉特设计出了第一个计算机神经网络——感知机（the perceptron），它模拟了人脑的运作方式。罗森·布拉特对感知机的定义如下：
感知机旨在说明一般智能系统的一些基本属性，它不会因为个别特例或通常不知道的东西所束缚住，也不会因为那些个别生物有机体的情况而陷入混乱。
3年后，维德罗首次使用Delta学习规则（即最小二乘法）用于感知器的训练步骤，创造了一个良好的线性分类器。

1967年，最近邻算法（The nearest neighbor algorithm）出现，使计算机可以进行简单的模式识别。kNN算法的核心思想是如果一个样本在特征空间中的k个最相邻的样本中的大多数属于某一个类别，则该样本也属于这个类别，并具有这个类别上样本的特性。这就是所谓的“少数听从多数”原则。
1969年马文·明斯基提出了著名的XOR问题,指出感知机在线性不可分的数据分布上是失效的。此后神经网络的研究者进入了寒冬，直到 1980 年才再一次复苏。
从60年代中到70年代末，机器学习的发展步伐几乎处于停滞状态。无论是理论研究还是计算机硬件限制，使得整个人工智能领域的发展都遇到了很大的瓶颈。虽然这个时期温斯顿(Winston)的结构学习系统和海斯·罗思(Hayes Roth)等的基于逻辑的归纳学习系统取得较大的进展，但只能学习单一概念，而且未能投入实际应用。
这一时期，一般认为只要机器被赋予逻辑推理能力就可以实现人工智能。不过此后人们发现，只是具备了逻辑推理能力，机器还远远达不到智能化的水平。 60年代末，70年代初神经网络学习机因理论缺陷未能达到预期效果而转入低潮。这个时期的研究目标是模拟人类的概念学习过程，并采用逻辑结构或图结构作为机器内部描述。机器能够采用符号来描述概念(符号概念获取)，并提出关于学习概念的各种假设。事实上，这个时期整个AI领域都遭遇了瓶颈。当时的计算机有限的内存和处理速度不足以解决任何实际的AI问题。要求程序对这个世界具有儿童水平的认识，研究者们很快发现这个要求太高了：1970年没人能够做出如此巨大的数据库，也没人知道一个程序怎样才能学到如此丰富的信息。可以说是计算能力的滞后导致了AI技术的停滞，这个阶段尽管学术思想已经达到很高的水平，但是工业界的发展严重滞后，科学与技术是相辅相成的，任何一方发展滞后都会拖累另一方的发展。
二、1970-1990年代，人工智能的”知识工程“时代。
这一时期，人们认为要让机器变得有智能，就应该设法让机器学习知识，于是计算机系统得到了大量的开发。后来人们发现，把知识总结出来再灌输给计算机相当困难。举个例子来说，想要开发一个疾病诊断的人工智能系统，首先要找好多有经验的医生总结出疾病的规律和知识，随后让机器进行学习，但是在知识总结的阶段已经花费了大量的人工成本，机器只不过是一台执行知识库的自动化工具而已，无法达到真正意义上的智能水平进而取代人力工作。
伟博斯在1981年的神经网络反向传播(BP)算法中具体提出多层感知机模型（即著名的“人工神经网络”，ANN）。虽然BP算法早在1970年就已经以“自动微分的反向模型（reverse mode of automatic differentiation）”为名提出来了，但直到此时才真正发挥效用，并且直到今天BP算法仍然是神经网络架构的关键因素。有了这些新思想，神经网络的研究又加快了。
在1985-1986年，神经网络研究人员（鲁梅尔哈特，辛顿，威廉姆斯-赫，尼尔森）相继提出了使用BP算法训练的多参数线性规划（MLP）的理念，成为后来深度学习的基石。
在另一个谱系中，昆兰于1986年提出了一种非常出名的机器学习算法，我们称之为“决策树”，更具体的说是ID3算法。这是另一个主流机器学习算法的突破点。此外ID3算法也被发布成为了一款软件，它能以简单的规划和明确的推论找到更多的现实案例，而这一点正好和神经网络黑箱模型相反。
决策树是一个预测模型，他代表的是对象属性与对象值之间的一种映射关系。树中每个节点表示某个对象，而每个分叉路径则代表的某个可能的属性值，而每个叶结点则对应从根节点到该叶节点所经历的路径所表示的对象的值。决策树仅有单一输出，若欲有复数输出，可以建立独立的决策树以处理不同输出。数据挖掘中决策树是一种经常要用到的技术，可以用于分析数据，同样也可以用来作预测。
在ID3算法提出来