ML21_神经网络_核心知识点 机器学习

[期末考试]
[笔记整理]

1. 神经网络的基本定义包括

   1. 适应性的简单单元
   2. 广泛并行互联
   3. 模拟生物
   4. 交互反应

---

2. M-P神经元的构成

   1. 输入信号
   2. 带权连接
   3. 阈值比较
   4. 输出

---

3. 激活函数

   1. 阶跃函数：不连续不光滑
   2. sigmoid：连续光滑

---

4. 感知机[熟悉书本图片]

   1. 对比神经元：在MP的输入位置上添加了输入神经元。仍然属于单层神经网络
   2. 局限
      1. 只能进行一次激活
      2. 只能处理线性可分（与或非）
      3. 不能处理异或

---

5. 两层神经网络特点

   1. 用反向传播解决计算量大的问题
   2. 中间的层称为隐含层
   3. 性能：无限逼近任意连续函数

---

6. 多次前馈网络的前馈：

   1. 指的是不存在环路
   2. 信号可以向后传

---

7. BP

   1. 思想：梯度下降
   2. 核心：带权求和+sigmoid
   3. 误差：均方误差
   4. 反向传播的计算[熟悉书本公式]

---

8. BP算法的分类

   1. 标准BP
      1. 每个样例都会导致参数更新
      2. 不同样例之间可能导致抵消
      3. 可能会导致更多迭代
   2. 累计BP
      1. 累计一轮才更新参数
      2. 训练后期可能会比标准BP慢

---

9. 神经元的个数由试错确定。

---

10. 过拟合

    1. 表现：训练误差下降，测试误差上升
    2. 应对：
       1. 早停：监测到过拟合，提前停止
       2. 正则化：在损失函数中控制网络参数

---

11. 局部极小值的应对策略

    1. 训练多个不同初始化的模型
    2. 模拟退火算法
    3. 随机梯度
    4. 遗传算法

---

12. 增加隐层数比增加神经元个数更好

    1. 原因：隐层数进一步增加了激活函数的嵌套
    2. 难点：多隐层可能导致误差发散不收敛

---

13. 无监督逐层训练

    1. 解决的问题：多隐层难训练
    2. 思路：预训练+微调
    3. 做法：[先局部最优再全局最优]
       1. 每次训练一层。上层为输入，下层为输出。
       2. 所有层训练完后进行BP。

---

14. 权值共享

    1. 含义：一组神经元使用相同的参数
    2. 实例：CNN 每个平面的权值相同

---

15. 特征学习：让机器自己提取数据的特征