李宏毅《机器学习》笔记：5.logistic回归

李宏毅《机器学习》笔记：5.logistic回归

2021.09.23 【挖两个坑】 视频地址

• 
  坑1：这了Z1,Z2,Z3是不是本来将三个一维数据（x是多少，该类概率就知道是多少）变成了个三维向量Z[Z1,Z2,Z3], 成了空间一个数据？然后进行相应的运算；还是老师这里有误，$z_i=w_{i}x+b_i$应该带同一个x（比如3），表示这个数据x（3）在三个类里分别的概率，然后强化最大值和归一化，最大的那维是所属的类？

• 
  坑2：（图上备注可能有误）这里的交叉熵是来做什么的，如果是用来梯度学习的，修正的是哪个w,b?还是在这里没有用，概率最大的维直接即为所求。只是告诉你我们估算的分类函数和真正的分类还差多少熵。

2021.09.21
LeeML-Notes:P11

5.1 Generative VS Discriminative 问题

详见：https://blog.csdn.net/wistonty11/article/details/120404029

• 第4章 概率分类模型用了 生成模型（Generative） 的方法；
• 本章，逻辑回归，则是 判别模型（Discriminative） 主要应用场景；

5.2 判别式模型（discriminative）的代表：逻辑回归

5.2.1 步骤一：找function set

• 目标是①
• ①和②是一个东西，是个概率，如图，始终在 [0,1] 之间
• ②是个z的表达式,
• ③中z是个线性函数 $z=wx+b$

5.2.2 步骤二： Goodness of a function（决定函数的好坏）

以w,b二维特征举例

① 给定一个w,b 那么估值函数$f_{w,b}(x)=P_{w,b}(C1|x)$就确定了。这个估值函数意思就是x是C1概率。

② 给一个训练数据，我们用L(w,b)来表示这个数据发生的概率。

目标是确定 w ∗ , b ∗ = a r g m a x w , b L ( w , b ) w^*,b^*=arg max_{w,b}L(w,b)