Datawhale X 李宏毅苹果书 AI夏令营：机器学习基础笔记（三）

关键新概念：

1.全连接神经网络（fully-connected neural network/深度学习）：由输入层，隐藏层，输出层组成和反向传播机制，限制少导致较灵活

2.卷积神经网络（Convolutional Neural Network，CNN/深度学习）：多用于图像处理，较多限制导致不灵活

3.交叉验证：比较合理选择模型的方法是把训练的数据分成两半，一部分称为训练集（training set）， 一部分是验证集（validation set）：

训练集：已知输入和输出，通过拟合找初始参数

验证集：优化调整模型的参数，可多次使用

测试集：测试模型的数据集

模型偏差（是什么）就变大模型（什么是变大模型）或者优化问题

4.过拟合：训练集好，测试集差

第一个不拟合，第二个基本重合，第三个基本重合但是过拟合（过度考虑极端数）

5.数据增强（data augmentation）：数据增强也叫数据扩增，意思是在不实质性的增加数据的情况下，让有限的数据产生等价于更多数据的价值。

6.早停（early stopping）：当训练集上的loss减小的程度小于某个阈值的时候停止继续训练。

 问题分析

模型的函数可能会出现因为选太复杂的就过拟合，选太简单的有模型偏差的问题。

解决过拟合问题：

• 增加训练集，数据增强
• 增加限制，避免过于灵活
  • 给模型较少的参数
  • 用比较少的特征
  • 早停，正则化（regularization）和丢弃法（dropout method）

深度学习相对机器学习的特点：大数据驱动、去公式推导、自我迭代更新、黑匣子训练等