学习视频网址:https://www.bilibili.com/video/av48285039?p=11
Deep Learning 的发展历程:
Deep learning 和Machine Learning的过程是一样的,可以总结为三个步骤:
对于DL而言,第一步定义一个函数集合就相当于定义一个neuron network。
示例,neuron network 的一种形式:
将两个LR输出合并,输入到一个函数中形成一个Neuron,最后再做一次输出变换:
我们可以利用不同的方法连接这些neuron network,这样就可以得到不同的structure。neuron network中所有的参数就是整个network的参数。
这些neruon怎么连接起来呢?
这里有很多种方式,怎么连接是人为手动设计的;最常见的一种连接方式是全连接fully connect feedforward network(卷积是另外一种连接方式);
全连接网络结构简单视图,一共6个neuron,两个一排。每个neuron 都有一组weights和一组biases。这组参数是根据training data训练找出来的。