深度学习理解

1. 发展历史

   • 最原始的神经网络——McCulloch-Pitts Neuron：
     
     • 单神经元
     • 用于垃圾邮件分类
   • 感知机模型：
     
     • 可通过学习自动、合理设置权重大小
     • 之后被论证只能处理线性可分问题
   • 分布式知识表达：
     
     • 用一些神经元表示m个颜色信息，另一些神经元表示n个形状信息，等等，这样就使得网络参数减少为m+n
     • 另一方面，可以使得网络能够推出数据集中没出现的类别。比如模型习得了“红色的”和“卡车”，就能推出“红色的卡车”。
   • 神经网络反向传播算法：
     
     • 大副降低了训练神经网络需要的时间。

2. 应用

   • 计算机视觉
   • 语音识别
   • 自然语言处理
   • 人际博弈

3. 工具

   • TensorFlow
     
     • google
     • C++, Python
     • Linux, Mac OS X, Android, iOS
   • Caffe
     
     • 加州大学伯克利分校视觉与学习中心
     • C++, Python, Matlab
     • Linux, Mac OS X, Windows
   • Theano
     
     • Python
   • MXNet
     
     • C++, Python, Julia, Matlab, Go, R, Scala
   • Torch
     
     • Lua, LuaJIT, C
   • Deeplearning4j
     
     • Skymid公司（14年）
   • Microsoft Cognitive Toolkit (CNTK)
     
     • 微软研究院
   • PaddlePaddle
     
     • 百度