COMP 9417 T2_2021 Lesson 6

Pg1-54

逻辑回归和感知机的区别主要是多了一个求概率，逻辑回归的损失函数由最大似然推导而来，使预测概率分布与真实概率分布接近。感知机的损失函数可能有多种方法，可能有多层感知机，但他们本质的思想都是使预测的结果与真实结果误差更小，是函数拟合，是去求得分类超平面。

考虑这样一个场景：我们需要对癌症分类。如果我们使用线性回归来解决这个问题，就需要设置一个阈值，根据这个阈值可以进行分类。假设实际类别为恶性，但是预测值为0.4，阈值为0.5，则该数据点将被归类为非恶性，这将导致实时的严重后果。

逻辑回归模型：

逻辑回归的输出在0-1之间比如假设我们得到的估计概率为0.8。这说明，一封电子邮件有80%的概率是垃圾邮件。

那么要用逻辑回归预测一件事情，就需要很多的参数向量以及自变向量。 比如判断是否是恶性肿瘤，我们就需要拍片子，验血等，拍片子的权重可能是4，验血的权重可能是6.

梯度下降求导：
推导
简单易懂的解释，第五部分

归纳偏置Inductive Bias
归纳推理是在特定实例的基础上学习一般原则的过程——换句话说，这是任何机器学习算法在有限数量的训练实例的基础上为任何看不见的测试实例生成预测时所做的。

为什么需要Inductive Bias：经典论文

贝叶斯定理依赖于合并先验概率分布以产生后验概率。在贝叶斯统计推断中，先验概率是在收集新数据之前发生事件的概率。

基本公式，这老师喜欢先介绍基本概念然后介绍模型。

最大后验证：MAP

和最大似然估计相比加入了先验

假设我们有一枚硬币，我们不知道它是否均匀，想通过N次抛掷，然后记录正反面出现的概率来决定。于是我们对它进行了10次抛掷，最后结果是：7次正面、3次反面。如果一个人秉持最大似然估计的想法来得出这个问题的结论的话，那他的结论会是：这个硬币不均匀，正面出现的概率是 0.7 ，反面是 0.3。

但其实常识告诉我们，10次中有7次正面，其实只是运气不好。如果再抛掷10次，没准就7次反面了。所以肯定没有人会相信上面这个结论。但我们如何改进呢？抛掷更多次当然是一个选项，但在建模过程中，数据量通常是固定的，要获取更多的数据一般是不大现实的。因此，我们需要另辟蹊径。就像刚刚说到的，常识会告诉我们这个结论明显有问题。那有没有办法把这个“常识”作为一个因子引入到我们的模型里呢？当然可以，它其实就是“先验概率”。这就引出了下面要讨论的“最大后验概率”。（李航18页）

教授的例子很清楚：

概念学习（Concept Learning）

概念学习可以看作是一个在预先定义的潜在假设空间中寻找最适合培训示例的假设的问题。

Version Spaces
所有假设的子集称为相对于假设空间H和训练示例D的Version Spaces，因为它包含目标Concept的所有plausible versions
概念

---

后面下次补