机器学习基础

机器学习分类方式

1. 机器学习分类

    有监督学习：从标签化训练数据中推断出模型的机器学习任务
        判别式模型：直接对条件概率p(y|x)进行建模，常见判别模型有：Logistic回归、决策树、支持向量机SVM、k近邻、神经网络等
        生成式模型：对联合分布概率p(x,y)进行建模，常见生成式模型有：隐马尔可夫模型HMM、朴素贝叶斯模型、高斯混合模型GMM、LDA等
        区别：
            生成式模型更普适；判别式模型更直接，目标性更强
            生成式模型关注数据是如何产生的，寻找的是数据分布模型；判别式模型关注的数据的差异性，寻找的是分类面
            由生成式模型可以产生判别式模型，但是由判别式模式没法形成生成式模型
    无监督学习：
        无监督学习训练集中没有人为的标注的结果，数据并不被特别标识，学习模型是为了推断出数据的一些内在结构
        无监督学习试图学习或者提取数据背后的数据特征，或者从数据中抽取出重要的特征信息，常见的算法有聚类、降维、文本处理(特征抽取)等。
        无监督学习一般是作为有监督学习的前期数据处理，功能是从原始数据中抽取出必要的标签信息。
    半监督学习：
        主要考虑如何利用少量的标注样本和大量的未标注样本进行训练和分类的问题。半监督学习对于减少标注代价，提高学习机器性能具有非常重大的实际意义。
        SSL的成立依赖于模型假设，主要分为三大类：平滑假设、聚类假设、流行假设；其中流行假设更具有普片性。
        SSL类型的算法