数据挖掘课笔记（四）

以下笔记来自于学堂在线上清华大学的视频网课《80240372X 数据挖掘：理论与算法》，还参考了清华大学出版社的《机器智能》一书，本笔记仅用于个人学习。如有错误，感谢指正。

本章框架如下：

具体内容如下：

1.大脑皮层

• 大规模并行处理
• 很强的容错性
• 很强的自适应能力

2.生物神经系统

• 神经系统表现出来的一切兴奋、传导和整合等机能特性
• 神经元结构：细胞体、树突、轴突
• 突触：轴突末端分出末梢+其他神经元的树突

3.生物神经网络

• 由大量的生物神经元和突触通过复杂连接而形成的网络结构
• 

4.人工神经元模型

4.1 思路：

4.2 模型：

• M-P数学模型：只有当不存在抑制性输入并兴奋性输入总和超过阈值时，神经元才会兴奋
• 线性加权神经元模型：更改抑制性输入的权重，由负无穷改为-1
• 阈逻辑模型：
  
  其中，激活函数Y有一些常用的函数，包括：
  · 线性：阈值函数、分段线性函数、RELU等
  · 非线性：sigmoid函数、$y=\frac{e^x-e^{-x}}{e^x+e^{-x}}$函数
• 阈值权值同意模型
  
  输入信号变为N+1维，N表示原始输入信号的分量数目

5.人工神经网络

5.1 思想：

人工神经元的适当模型可以构造具有某些复杂性为的网络系统

5.2 最基本模型：

• 感知机：单层单个神经元构成的感知机
• MLP：多层感知机
• Hopfield反馈神经网络

5.3 感知机：

思想：逐步将阳历集合中的样例属兔到网络中，根据实际输出结果和理想输出之间的差别来调整网络中的权值矩阵

• 单层感知机：多个单层单个神经元连接起来（全连接方式），如图：
  
  局限性：仅适用于满足线性可分条件的函数，如异或条件就不可分。
• 多层感知机：改善单层的局限性
• 复杂神经网络：
  

6.具体算法

1. Hebb学习规则
2. 纠错学习
3. 随即学习
4. 竞争学习
5. 前向多层感知机
6. 单层感知机的梯度下降算法：这个很重要，懒得写了。
7. 多层感知机的BP算法：BP是反向传播算法，将误差信号反向传播，从而指导各层神经元连接权值的调整，具体懒得写了。
8. Hopfield反馈神经网络：出现反馈信号了（前面的感知机没有反馈哦），分为：
   ·分为：离散Hopfield网络、连续Hopfield网络、Hopfield联想记忆网络
   ·应用：卷积神经网络（也懒得写了TAT）