深度学习（一）简介

1.分类
有监督学习：利用已知类型的样本调整分类器的参数，使其达到所要求性能的过程
无监督的学习：对没有概念标记的训练样本进行学习，以发现训练样本集中的结构性知识
半监督学习：少量标注样本和大量未标注样本进行训练和分类的问题
2.常用机器学习深度学习框架
pytorch、tensorflow、caffe、scikit-learn
3.常用的模块库
matplotlib、numpy、pandas等
4.深度学习常用名词
人工神经网络（ANNS）：是一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法数学模型。
感知机：是一个线性二进制分类器，它接收输入和与其相连的权重，将他们结合产生输出，接下来用于分类。
前馈神经网络：输入，隐藏层、输出
循环神经网络：循环神经网络的连接构成有向循环
卷积神经网络（CNN)：卷积、池化
**Momentum:**借用了物理的动量概念，前几次的梯度也会参与运算，为了表示动量，引入了一个新的变量v，v是之前梯度的累加，每回合都有衰减，前后梯度方向一致时，能够加速学习。不一致能够抑制震荡。
**AdaGrad:**自动变更学习速率
**RMSProp:**引入一个衰减系数，让r每回合都衰减一定比例
Adam：本质上是带有动量项的RMSprop,它利用梯度的一阶矩估计和二阶距估计动态调整每个参数的学习速率。