深度学习基本概念

1. 卷积的含义：一个函数（输入）在另一个函数（加权函数）上的加权叠加，得到的函数为输出随时间变化的函数，可以用来做特征提取
2. batchsize:每批处理的数据数目 eporch：迭代次数 ReLU,Sigmoid,Softmax均为激活函数,比如Softmax输出类标签分布后，与真实类标签分布构成交叉熵（交叉熵反映了相似程度），即softnax交叉熵损失函数。
3. 端到端的模型：模型从原始输入到最终输出，自动提取特征
4. 非端到端的模型:输入的是提取后的特征，而不是原数据，本质为你要解决的问题是多阶段的或多步的，如果分阶段学习，第一段的最优解不能保证第二阶段达到最优，而端到端模型把他们堆在一起优化，全局最优
5. 例如sigmoid_cross_entropy_with_logit(logits,targets)中logits就是神经网络模型中的w*x矩阵，假如这个模型要判断100张测试图中是否包含10种动物，targets和logits的shape都是[100,10(num_classes)]
6. 激活函数如sigmoid,softmax,tanh都有饱和区域，当随着网络层数加深，sigmoid等的导数过小时，容易梯度消失，因为梯度等于导数乘以w，所以当w过大时容易梯度爆炸，https://zhuanlan.zhihu.com/p/25631496，梯度爆炸的解决办法时限制最大值，梯度消失是更换激活函数为ReLU(max(0,x)),此时导数为1，不会消失，但在小于0部分没有梯度，解决办法为改为softpl