机器学习三个核心理论

【待补充：为什么有些情况，不需要得到完整的联合概率就可以得到后验概率】

ML：抽象出一个pattern模拟数据背后的model，然后根据模拟的model去做预测

ML的类别：

ML针对的三种任务类型：

——分类任务

——回归任务

——排序任务（y有顺序）

————多分类任务（y没有顺序） 

不同的损失函数其实就对应了不同的算法（每个特定的任务都有不同的损失函数），但是我们如何找到这样的函数f（损失函数中的f），在iid的条件下，我们一般是通过最小化期望风险，从期望的意义下， 假设，不论是训练数据还是测试数据，数据都是按照概率分布p生成的，我们能够使用f将这些产生的数据拟合的足够好，那么这样的f就是很好的，那么这样就不会受到训练数据的bias（因为是期望意义下最好的）【这一点是贯穿机器学习整个的核心】

【回归问题的框架】

 

（注意：用的是平方而不是绝对值，方便计算梯度）

回归问题的最优解就是条件期望

所以对于回归问题会明确的知道最优解，x0点处对应的y服从高斯分布，这个点下的条件期望y值就是f（x0）的值，对于每个x都求条件期望，就会得到完整的f的曲线，所以说，对于回归问题，