深度学习基本概念的理解

• 深度学习是一种多层表示学习方法，用简单的非线性模块构建而成，这些模块将上一层表示（从原始数据开始）转换为更高层，更抽象的表示。当一个学习系统由足够多这样简单的非线性模块构建时，可以学习非常复杂的功能。好的特征可以使用通用学习方法自动学到，这是深度学习的核心优势。
• 卷积层和全连接层统称为权值层，因为这两种层都具有可学习参数（权值），是网络训练的对象。Caffe使用称为Blob的4维数组用于存储和交换数据。Blob是caffe的基本存储单元。
• batch normalization:批规范化
• Dropout:在模型训练时随机让网络某些隐含层节点不工作，不工作的那些节点可以暂时认为不是网络结构的一部分，但是它的权重得保留下来。
  Dropout：While momentum values of 0.9 are common for standard nets,with dropout we found that values around 0.95 to 0.99 work quite a lot better. Using high learning rate and/or momentum significantly speed up learning.a dropout net should typically use 10-100 times the learning rate that was optimal for a standard neural net.
• 深度学习的过程其实就是利用训练数据对模型进行训练,对数据蕴藏的大量信息通过机器学习算法不断收集到模型中,利用训练好的模型对现实世界中的相似数据进行特定处理(如分类、识别、检测、定位)
• 公式y=f（w*x+b）,w和b是需要训练的东西，w称为权值，b是偏置项，f是激活函数。
  net.params:保存各层的参数值（w和b）
  net.blobs:保存各层的数据值
  v[0].data就是各层的w值，v[1].data是各层的b值
  数据刚输入的时候，叫图片数据，卷积之后就叫特征。