从机器学习到深度学习（ML—DL）

1.统计机器学习常用的四种方法：正则化、核化、集成化和层次化

2.深度神经网络包括多层感知机、卷积神经网络和循环神经网络等

3.深度生成网络包括深度有向网络、深度信念网络和深度波尔茨曼机

4.解决非线性问题的方法有非线性转换、核方法和神经网络

5.非线性问题称为明转、核方法称为暗转、神经网络称为自转

6.神经网络本质是一个复合函数

我们知道，机器学习按照频率派和贝叶斯派可以分为统计机器学习和概率图模型。

统计机器学习常用的四种方法有：

• 正则化——L1与L2等

• 核化——核函数，比如SVM

• 集成化——AdaBoost与Boosting

• 层次化——深度神经网络

正则化是对原有模型的改进，大多是为了避免过拟合而引进的对参数进