李宏毅2021春机器学习课程笔记--类神经网络（四）

视频链接：https://www.bilibili.com/video/BV1Wv411h7kN?p=14&spm_id_from=pageDriver

如何分类

分类与回归

class 不能单纯根据123来分类，会有关系远近的误导，一般采用one-hot。（单位向量）

a1/a2/a3 ×不同的weight，产生不同组的数字

对于分类，y为向量，且最后常用soft-max
yhat只有0/1 而y’是任何值，所以进行一个归一化，变成概率，且会拉远数据之间的距离，更容易分类

当只有两类时，等价于 sigmoid

Loss

最小的交叉熵等价于去最大化 likelihood（可能性 似然）
（极大似然估计,通俗理解来说,就是利用已知的样本结果信息,反推最具有可能(最大概率)导致这些样本结果出现的模型参数 通过实验选取参数）

（对于pytorch，其内置的cross-entropy包含了soft max）
loss时估计label与predict的距离

举例说明 cross的优点，有斜率不容易卡住