基于多层感知机的神经网络ANN

学习目标

1. 了解人工神经网络的基本原理
2. 通过合适的例子讨论多层感知机的运作
3. 讨论利用反向传播bp的方法推导权值更新公式

课堂笔记

神经网络概念

        神经网络（artificial neural network）是与人类大脑思考相似的算法，可用来解决监督式的分类（classification）问题和连续数预测（numeric prediction），非监督式的聚簇问题（clustering）。具体有以下几种分类：

1. Multi Layer Perceptron (MLP) used for classification
2. Radial Basis Function (RBF) used for classification and numeric prediction
3. Self Organizing Map (SOM) used for clustering
4. Convolutional Neural Network (CNN) used for image/text classification  
5. Long Short Term Memory (LSTM) used for modelling time series

        回顾一下人体的神经系统最主要功能单位——细胞元，可分为细胞体、树突和轴突、轴突末端，其中树突用于接收上个神经元轴突末端的信号。神经系统就是通过一个一个神经元的信号传递和交换，从而实现脑的分析功能。

        而对应人工神经网络中的基本功能单位是感知机。下面介绍一下感知机。

感知机       

         一个感知机可以有多个输入（树突），经过一系列转换（细胞体），并输出一个值（轴突）。也就是说感知机是处理多对一的，而函数也是处理多对一的。这里为什么又发明了感知机，感知机的价值体现在哪呢？在解释完感知机之后回答这个问题。

        感知机是处理分类问题的。比如说一个人，人有两个特征身高和体重，通过将特征值输入到感知机中，从而判断这个人胖还是瘦。那我实现这个任务之前，首先要训练机器：将很多人的特征数据和胖瘦的类别输入到感知机中，机器会根据数据不停地调整分开他们的那条直线（如图示），确定好直线也就是确定好斜率k和截距b之后，就训练成功了。而这是二维（两个特征）是一条线，如果是三维就是一个面，n个特征就是（n-1）维的超平面。同