李宏毅《机器学习》笔记:5.logistic回归
2021.09.23 【挖两个坑】 视频地址
-
坑1:这了Z1,Z2,Z3是不是本来将三个一维数据(x是多少,该类概率就知道是多少)变成了个三维向量Z[Z1,Z2,Z3], 成了空间一个数据?然后进行相应的运算;还是老师这里有误, z i = w i x + b i z_i=w_ix+b_i zi=wix+bi应该带同一个x(比如3),表示这个数据x(3)在三个类里分别的概率,然后强化最大值和归一化,最大的那维是所属的类? -
坑2:(图上备注可能有误)这里的交叉熵是来做什么的,如果是用来梯度学习的,修正的是哪个w,b?还是在这里没有用,概率最大的维直接即为所求。只是告诉你我们估算的分类函数和真正的分类还差多少熵。
2021.09.21
LeeML-Notes:P11
文章目录
5.1 Generative VS Discriminative 问题
详见:https://blog.csdn.net/wistonty11/article/details/120404029
- 第4章 概率分类模型用了 生成模型(Generative) 的方法;
- 本章,逻辑回归,则是 判别模型(Discriminative) 主要应用场景;
5.2 判别式模型(discriminative)的代表:逻辑回归
5.2.1 步骤一:找function set
- 目标是①
- ①和②是一个东西,是个概率,如图,始终在 [0,1] 之间
- ②是个z的表达式,
- ③中z是个线性函数 z = w x + b z=wx+b z=wx+b
5.2.2 步骤二: Goodness of a function(决定函数的好坏)
以w,b二维特征举例
① 给定一个w,b 那么估值函数 f w , b ( x ) = P w , b ( C 1 ∣ x ) f_{w,b}(x)=P_{w,b}(C1|x) fw,b(x)=Pw,b(C1∣x)就确定了。这个估值函数意思就是x是C1概率。
② 给一个训练数据,我们用L(w,b)来表示这个数据发生的概率。
目标是确定 w ∗ , b ∗ = a r g m a x w , b L ( w , b ) w^*,b^*=arg max_{w,b}L(w,b)