逻辑回归
图形化表示如下所示
这里为什么在logistic回归中为什么不直接采用Linear Regression中的Loss函数？（待解决）
为什么在logistic回归中为什么不直接采用Linear Regression中的Loss函数？
解答：选择使用均方根误差（Linear Regression），误差的导数在接近最小值时候会取值到0，但是当取值特别大，远远偏离正确数值情况下，其导数也会接近于0，这对梯度下降更新参数不利，导致模型不能有效训练。
Discriminative和Generative(判别式模型和生成式模型)
个人理解：判别式模型直接根据Loss计算模型中的w和b，生成式模型先计算和w，b相关的参数，再转换为求解w和b，我们使用的是同一个模型，但是因为对模型做了不同的假设，得到的参数并不是相同的（会在function set中找到不同的function）。
哪一个找出来的参数更好呢？（从图中看到判别式模型的分类精度更高）
Discriminative和Generative(判别式模型和生成式模型)
Generative优势：
1.数据量叫小时候，其可能会优于Discriminative模型（数据量较小，可能并不能充分学习到有效的信息，脑部可以提供很多信息）；
2.其对噪声和干扰具有更好的鲁棒性（假设了一个概率分布，自己做一些脑补和假设可以将data中有问题的数据忽略掉）；
3.priors和class-dependent可能来自于不同的来源。（语言辨识，辨识中某一段话被说出来的率，并不需要依赖于原始的声音数据，只需要从网络上读取大量的数据，就可以知道下句话说出什么内容的概率。）
多分类（Muti-class Classification）
(Maximum Entropy 与Logistics Regression同一个东西的不同切入角度)，Bishop教科书（PRML）
采用One-hot编码没有考虑样本之间的距离（下图交叉熵少了负号）
Logistics Regression局限性
特征转换
Cascading逻辑回归
实际上就是多层感知机的最初原型
扫一扫
310
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
