神经网络一些概念

1. 人工神经元 组合函数g 激活函数f

2. bp算法要求激活函数可导

3. 人工神经网络有两个主要问题：结构、学习方法

     结构：前馈结构：代表有感知机与BP神经网络 

                 反馈/循环结构：LSTM

     学习方法：（1）incremental、batch优化

                         （2）监督学习：BP算法 

                                   非监督学习：hebb学习率

4. 神经网络可分为监督神经网络和非监督神经网络。

    我们比较熟悉的是监督神经网络，该模型可以处理分类、回归问题；

    非监督神经网络最典型的就是稀疏自编码器（sparse autoencoder）。