首先按照数据label形式可以有下面几种(这也是最常见的分类方式):
监督学习:监督学习,即所有案例均有label,这种情况要求案例的标记成本很低
半监督学习(Semi-surpervised learnning): 比如我们有1万个学习案例,但是只有1000个标记的,这时候我们可以用半监督学习,我们先喂给机器1000已经标记的cases,让他们去学习,这1000个cases已经能够学习到一些信息,我们再利用已经学习到的信息对剩余的九千个cases进行分类
无监督学习:给机器案例,我们不进行标记,比如说分辨 硬币,机器可以从硬币的重量,尺寸 将硬币自动分类
强化学习,将学习看做是一个一连串的动作组成的集合合集,学习过程的每一个动作,我们不会告诉机器是对的还是错误的,就像我们训练宠物的时候,我们告诉小狗狗去哪一个苹果给我,如果小狗狗给我拿回来一串香蕉,香蕉是我最爱吃的水果,那么我不能说小狗狗这个学习的动作在时间t的那段区域内是错误的,我只能告诉小狗狗在时间区域t内,小狗狗的这个学习动作是好的,然后我就会奖励他一个分五星级狗粮,那么小狗狗可能会下次再我们想要苹果的时候,继续给我香蕉,也许我下一次会奖励它,但是也可能下一次我会批评他,因为他没听到我的意思,我在t+1的时间段内,认为这样是不好的。由此可见强化学习与前三类的学习是label不是固定的0,1而是根据当时情况(也可以加上历史情况)给出的一个好坏的奖惩结果(这涉及到马尔科夫链,在以后的篇章会详细展开)
正则化项即罚函数,该项对模型向量进行“惩罚”,从而避免单纯最小二乘问题的过拟合问题。正则化项本质上是一种先验信息,整个最优化问题从贝叶斯观点来看是一种贝叶斯最大后验估计,其中正则化项对应后验估计中的先验信息,损失函数对应后验估计中的似然函数,两者的乘积即对应贝叶斯最大后验估计的形式,如果你将这个贝叶斯最大后验估计的形式取对数,即进行极大似然估计,你就会发现问题立马变成了损失函数+正则化项的最优化问题形式。
交叉验证(Cross Validation)是在机器学习建立模型和验证模型参数时常用的方法。顾名思义,就是重复的使用数据,把得到的样本数据进行切分,组合为不同的训练集和测试集。用训练集来训练模型,测试集来评估模型的好坏。在此基础上可以得到多组不同的训练集和测试集,某次训练集中的样本,在下次可能成为测试集中的样本,也就是所谓的交叉。