Datawhale X 李宏毅苹果书AI夏令营 Task 2

一、线性模型

降属如的特征x乘上一个权重加上一个偏置的得到的结果 即 y = kx+b

二、更复杂的，更灵活的函数

线性模型虽然简单 但是能拟合的场景也过于简单 在实际生活中很多复杂问题无法解决 于是产生分段线性函数 即一个函数由多个不同线性函数组合而成 （类似于很多线段） 逐渐优化变成曲线

*这里也就是为什么deep learning model会采用激活函数（如sigmoid, relu, softmax等等）是为了引入非线性关系 来学习更复杂的场景

继续演化加入了多层函数叠加 类似于CNN多个layer block叠加 来处理更复杂的任务

*多参数和单参数的训练方式相同 都是梯度下降 需要对每个参数都算出loss对其的微分得到梯度 分别进行更新

三、batch，update和epoch

实际在做梯度下降的时候是分成多个batch的 因为deep learning 往往需要很大数据量 一下子训不了 在每个batch上都会计算loss 并得到梯度 同一进行参数update

epoch主要是指将所有数据都过了一遍 也就是所有batch跑了一遍

四、过拟合

浅显的展示了一下过拟合的基本概念 就是在training dataset上效果还不错 loss在减小 performance在上升 但反观test dataset上效果反而出现下降趋势 此时就是过拟合 往往由于model过于复杂或者数据量过少 可以通过早停 简化model 增加数据量 加入augmentation regularization等方法进行解决

* 多参数更新 是固定其他参数 计算loss对某个参数的微分得到梯度 再去做梯度下降吗？那在实际操作中多参数是并行进行计算的吗？