《数据挖掘》第四课笔记

---

一、神经元模型

---

二、全连接神经网络

1.前向传播

2.后向传播

---

三、牛顿迭代优化算法

1.牛顿迭代法

2.巴纳赫不动点定理

 对于完备度量空间中的任意压缩映射（即满足d(f(x),f(y))≤k·d(x,y)，其中d为度量函数，k为收缩因子，k<1）存在唯一的不动点。
  有一张矩形地图，将它按比例缩印后，叠放在大地图内部。然后钉一根大头针，刺穿两个地图。那么，一定可以有一个唯一的位置（即不动点），大头针在那里扎下去穿透的是大小地图中的同一个地点。

3.布劳威尔不动点定理

  对于一个从一个凸空间到自身的连续映射，布劳威尔不动点定理保证了这个映射必有一个不动点，即至少有一个点在映射之后不会发生变化。
  比如取两张一样大小的白纸，在上面画好垂直的坐标系以及纵横的方格。将一张纸平铺在桌面，而另外一张随意揉成一个形状（但不能撕裂），放在第一张白纸之上，不超出第一张的边界。那么第二张纸上一定有一点（即不动点）正好就在第一张纸的对应点的正上方。

---

四、线性回归中的误差与分布

---