机器学习笔记(四)BP神经网络模型

写完才感觉自己可能用了很多术语= =大家听不懂就问就行，我之前可能写过但是很杂，我自己都感觉写的太乱了= =。
笔记参考：方巍的Python数据挖掘与机器学习实战

1、基础概念

人工神经网络的概念：其从信息处理角度对人脑神经元网络进行抽象，构建某种简单的模型，按不同的连接方式组成不同的网络。在工程与学术界我们通常把人工神经网络简称为神经网络或类神经网络。

神经网络的概念：是一种运算模型，由大量的节点(也可以说神经元)之间连接构成。每个节点代表一种特定的输出函数，称为激励函数或者激活函数。每两个节点间的连接都代表一个对于通过连接信号的加权值，称之为权重。这相当于人神经的记忆(就是仿生)，神经网络的输出则根据网络的连接方式、权重值和激活函数的不同而不同。而网络本身通常都是对自然界某种算法或函数的逼近，也可能是一种逻辑策略的表达。简单来说，人工神经网络搭建利用函数拟合的性质体现自然规律。

2、结构特点

人工神经网络是由大量处理单元互联组成的非线性、自适应信息处理系统。具有四个特征。

• 非线性 ：人工神经元处于激活或抑制两种不同的状态，这种行为在数学上表现为一种非线性关系。
• 非局限性：一个神经网络一般由很多神经元组成。一个系统的整体行为不仅取决于单个神经元的特征，而且由单元之间相互作用，相互连接组成，通过单元之间的大量连接模拟大脑的非局限性。
• 非常定性：处理信息的时候，信息可以有各种变化，非线性动力系统本身也在变化，通常用迭代描述这个动力系统的过程。（可以用EM去理解）
• 非凸性：一个系统的演化方向，在一定条件下取决于某个特定的状态函数。

3、网络模型

目前有很多种神经网络模型，这里说下四种

• 前向型：网络中各个神经元接受前一级的输入，并输出到下一级，网络中没有反馈，可以用一个有向无环路图表示。
• 反馈型：网络内神经元有反馈，可以用一个无向的完备图表示。
• 随机型：具有随机性质的模拟退火(SA)算法解决了优化计算过程陷于局限性极小的问题。
• 竞争型：自组织神经网络模拟人脑行为，根据过去经验自动适应周围的环境变化，由于无监督通常采用竞争原则进行网络学习和自动聚类。

4、人工神经网络简介

主要说一下传统神经网络的基本组成部分和前向传播等内容。

4.1、神经元

高中生物上学过(对文科生抱歉= =这个俺真没法讲明白)，一个神经元有多个树突主要用来接受传入信息，轴突只有一条，轴突尾端有许多轴突末梢可以给其他多个神经元传递信息。轴突末梢跟其他神经元的树突产生连接，从而传递信号。这就是突触。