深度学习（Deep Learning） 6.why deep?

深度学习（Deep Learning） 6.why deep?

---

1 fat+short or thin + tall?

• 并不是参数越多表现越好
• modularization：模块化，（自动学习）
• Deep $\rightarrow$ modularization：每个模块只关注一小部分任务
• machine learning是因为没有足够的data，所以需要学习。？

---

2 Speech

• phoneme：人类发音的基本单位
• Tri-phone：
• state
• HMM-GMM中所有phoneme被高度模块化

---

3 logic circuits

• 逻辑电路的类比：两层逻辑闸可以表示任何的布尔函数，实际应用中不会这么做。因为使用很多层更高效。
• 神经网络中虽然理论上使用一个隐藏层就可以拟合任意函数，但是效率很低！

---

4 end-to-end learning

• 只给输入输出，无中间函数，即黑箱模型
• Shallow Approach：Waveform-DFT-spectrogram-filter bank-log-DCT-GMM-‘hello’，除了GMM均为人工

---

5 Complex Task

• 相似的输入，不同的输出
• 不同的输入，相似的输出