深度学习笔记继续

Softmax回归+损失函数+图片分类数据集

（虽然是回归，其实是分类函数）

回归VS分类：

·回归估计一个连续之

·分类预测一个离散类别

回归：

·单连续数值输出

·自然区间R

·跟真实值之间的区别作为损失

分类：

·通常多个输出

·输出i是预测为第i类的置信度

从回归到分类：均方损失

·对类别进行一位有效偏码：

·使用均方损失训练

·最大值为预测

·需要更置信的识别正确率（大余量）

从回归到多类分类——校验比例

·输出匹配概率（非负，和为1）

Y=softmax(0)

·概率y和也y-hat的区别作为损失

Softmax和交叉熵损失

·交叉熵常用来衡量两个概率的区别

·将它作为损失

·其梯度是真实概率和预测概率的区别

损失函数

·均方损失:L2loss

·绝对值：L1loss

 

·Huber’s  Robust  Loss

图像分类数据集

Fashion-MNIST类似于MNIST，但是更复杂

torchvision中的transforms：用于数据操作的模具

d2l用来存放函数，之后可以进行调用

d2l.use_svg_display() 用来显示图片

感知机

·给定输入x，权重w，偏移b,感知机输出

·二分类：-1或1

    ·vs.回归输出实数

    ·vs.softmax回归输出概率

训练感知机：等价于使用批量大小为1的梯度下降，并使用如下损失函数：

L(y,x,w)=max(0,-y<w,x>)

XOR问题：（异或）

感知机不能拟合XOR函数，它只能产生线性分割面

多层感知机：包含隐藏层

sigmoid激活函数：

将输入投影到(0,1)

 

Tanh激活函数:

将输入投影到(-1,1)

 

Relu激活函数

Relu(x)=max(x,0)