深度学习入门之PytoRch(一)深度学习发展历史

1 深度学习介绍

我们一提到人工智能就会想到机器人，其实机器人只是人工智能的容器，没有这个容器也是可以的，可以将人工智能分为三个方面

1.1 人工智能

1）弱人工智能
比如战胜全世界的Al-phaGo,它只会下象棋，但是辨识一下猫和狗的话，他就不知道怎么做
2）强人工智能
就是人类能干的脑力活动，它全部都能干
3）超人工智能
牛津哲学家，定义为在所有方面都比人类大脑聪明。

1.2 数据挖掘，机器学习和深度学习

随着大数据的兴起，数据挖掘技术出现，涵盖不限于统计学，数学，机器学习和数据库。
并运用在各种专业领域。

1.2.1 数据挖掘

一个数据的处理过程就是输入数据，对数据进行预处理，包括特征选择，规范化，降低维数，数据提升等。然后进行数据的挖掘与分析，在经过处理，比如模式识别、可视化等，最后形成可用信息的全过程。
所以就是从数据中找到有用的信息以及数据之间的特性

1.2.2 机器学习

机器学习也是一门交叉学科，但是和数据挖掘相比，机器学习更加注重算法的设计，让计算机从数据中学习规律，并利用规律对数据进行预测，因为与统计学联系紧密，所以就叫做统计学习方法。

1）监督学习
用给定的数据集学习得到一个函数，当新的数据来的时候可以根据这个函数来预测结果。常见的监督学习算法包括回归和分类。
2）无监督学习
无监督学习与监督学习相比，训练集没有人为标注的结果，常见的算法有聚类
3）半监督学习
是一种介于监督学习和无监督学习之间的算法
4）迁移学习
将已经训练好的模型参数迁移到新的模型来帮助新模型训练数据集
5）增强学习
通过观察周围环境来进行学习，每个动作都会影响周围环境，学习者对根据观察周围的环境来反馈。
传统的机器学习算法有以下几种：
线性回归模型，logistic回归模型
k-临近算法
决策树，随机森林（包含多个决策树的分类器），支持向量机，人工神经网络，EM算法，概率图模型

1.2.3 深度学习

深度学习的初级是人工神经网络，深度学习解决了机器学习不能很好解决的问题，比如图形识别、语音识别、自然语言处理等，大数据的兴起和高计算量的GPU促进了深度学习的发展。使更复杂的网络模型成为可能。
神经网络可以分为如下三个阶段
1）第一代神经网络：人工神经元模型
人们希望能够用计算机来模拟人的神经元反映的过程，将这个过程分为三个阶段
（1）输入信号线性加权
（2）求和
（3）非线性激活（阈值法）
2）第二代神经网络
第一代神经网络因为只能处理线性问题研究停滞不前，第二代神经网络发明了适用于多层感知器的BP算法，并用sigmoid进行映射，有效解决了非线性问题，引发第二次神经网络热潮，但是由于神经网络一直缺少严格数学支持，并且BP算法被指出梯度消失的问题，使得误差梯度传到前层几乎为0，无法进行前层学习。后来决策树的兴起提供了统计学方法，并且出现了一系列算法，神经网络又有了初步发展。
3）第三代神经网络
快速发展期
2006年，Hinton提出了解决梯度消失的解决方案：无监督训练对权值进行初始化+有监督训练微调，但是没有实验验证，被忽视了，2011年，RELU激活函数被提出，能够有效的抑制梯度消失的问题。并且将深度学习应用在语音识别上。
爆发期
2012年，Hinton课题组参加了ImageNet图像识别比赛1.2.1
，通过构建CNN网络AlexNet一举获得冠军，并且碾压了第二名SVM的分类性能，2015年论证了局部极值问题对深度学习的影响，虽然深层网络的饿局部极值非常多，但是通过BGD优化方法很难陷进去。2015年提出了Deep Residual Net,
深度学习框架
DNN，CNN RNNGAN
接下来都会一一介绍。

2 学习本书之前建议

在学习本书之前可以看我的分类专栏
1 机器学习，还在更新中
2 深度学习基础-基于python的理论与实现