Android、Apps、Maps、Photos等都使用了Deep learning。
Deep Learning的步骤和Machine Learning相似,也分为三步:
Machine Learning的第一步是define a set of function,Deep Learning中这个function就是Neural Network。多个Neuron的不同连接可以组成不同结构的Neural Network。
最常见的连接方式为Fully Connect Feedforward Network,每一组Neuron都有一组weight和bias,
如果可以知道每一组neuron的weight和bias,就可以得到经过多个neuron后得到的output
其中任意一个网格在知道各参数(w、b)的情况下都可以作为一个function,可以通过输入向量得到输出向量。
若参数未知只知道各网格的连接顺序,则整个neutral network可以视为a set of function。设置不同的参数可以得到不同的function。
除去Input Layer和Output Layer中间的就是Hidden Layers,当有很多Hidden Layers时就称为“Deep”。
以上过程可以用矩阵运算来表示,
然后用Gradient Descent更新所有参数值使得Loss Function达到最小。