机器学习导论第二天

首先按照数据label形式可以有下面几种（这也是最常见的分类方式）:

监督学习：监督学习，即所有案例均有label,这种情况要求案例的标记成本很低
半监督学习（Semi-surpervised learnning）: 比如我们有1万个学习案例，但是只有1000个标记的，这时候我们可以用半监督学习，我们先喂给机器1000已经标记的cases，让他们去学习，这1000个cases已经能够学习到一些信息，我们再利用已经学习到的信息对剩余的九千个cases进行分类
无监督学习：给机器案例，我们不进行标记，比如说分辨 硬币，机器可以从硬币的重量，尺寸 将硬币自动分类
强化学习，将学习看做是一个一连串的动作组成的集合合集，学习过程的每一个动作，我们不会告诉机器是对的还是错误的，就像我们训练宠物的时候，我们告诉小狗狗去哪一个苹果给我，如果小狗狗给我拿回来一串香蕉，香蕉是我最爱吃的水果，那么我不能说小狗狗这个学习的动作在时间t的那段区域内是错误的，我只能告诉小狗狗在时间区域t内，小狗狗的这个学习动作是好的，然后我就会奖励他一个分五星级狗粮，那么小狗狗可能会下次再我们想要苹果的时候，继续给我香蕉，也许我下一次会奖励它，但是也可能下一次我会批评他，因为他没听到我的意思，我在t+1的时间段内，认为这样是不好的。由此可见强化学习与前三类的学习是label不是固定的0,1而是根据当时情况（也可以加上历史情况）给出的一个好坏的奖惩结果（这涉及到马尔科夫链,在以后的篇章会详细展开）
正则化项即罚函数，该项对模型向量进行“惩罚”，从而避免单纯最小二乘问题的过拟合问题。正则化项本质上是一种先验信息，整个最优化问题从贝叶斯观点来看是一种贝叶斯最大后验估计，其中正则化项对应后验估计中的先验信息，损失函数对应后验估计中的似然函数，两者的乘积即对应贝叶斯最大后验估计的形式，如果你将这个贝叶斯最大后验估计的形式取对数，即进行极大似然估计，你就会发现问题立马变成了损失函数+正则化项的最优化问题形式。
交叉验证(Cross Validation)是在机器学习建立模型和验证模型参数时常用的方法。顾名思义，就是重复的使用数据，把得到的样本数据进行切分，组合为不同的训练集和测试集。用训练集来训练模型，测试集来评估模型的好坏。在此基础上可以得到多组不同的训练集和测试集，某次训练集中的样本，在下次可能成为测试集中的样本，也就是所谓的交叉。