统计学习方法笔记（一）统计学习方法概要

统计学习的基本假设：

X和Y具有联合概率分布，并且训练数据与测试数据被看作是依据联合概率分布独立同分布产生的。（测试数据和训练数据独立同分布，才可能由学习到的模型去预测未来的数据）。

统计学习的三个要素：

模型： 监督学习过程中，模型就是所要学习的条件概率分布或者决策函数（你要学习到什么样的模型）

策略： 按照什么样的准则学习或者选择最优模型。（有了模型的类型，按照什么方式来计算这个模型，经验风险最小还是结构风险最小）

算法： 学习模型的具体方法，即选择合适的模型优化的方法。

统计学习的三个方面：分类问题，标注问题，回归问题。

分类问题：

分类是监督学习的核心问题，应该说是应用最广泛的，在计算机视觉，模式识别中应用广泛，就而分类而言要有以下概念：

TP（True Positive）：正样本被预测为正样本（正判为正样本）

FN（False Negative）：正样本被判断为负样本（误判为负样本）

TN（True Negative）：负样本判断为负样本（正判为负样本）

FP（False Positive）：负样本被判断为正样本（误判为正样本）

附上计算以上情况的matlab代码：

function finalAccuracy= accuracyDetail(predictlb,truelb)
% 计算精度的细节
% predictlb 预测出来的label
% truelb 实际的label

% TP: Ture Positive
% TN: Ture Negative
% FP: False Positive
% FN: False Negative

idxTP = find(predictlb == truelb & predictlb == 1);
TP = length(idxTP)/length(truelb);

idxTN = find(predictlb == truelb & predictlb == 0);
TN = length(idxTN)/length(truelb);

idxFP = find(predictlb ~= truelb & predictlb == 1);
FP = length(idxFP)/length(truelb);

idxFN = find(predictlb ~= truelb & predictlb == 0);
FN = length(idxFN)/length(truelb);

finalAccuracy = [TP,TN,FP,FN] ;

end

常用的方法：KNN、感知机、朴素贝叶斯法、决策树、决策列表、支持向量机、提升方法、贝叶斯网络、神经网络、随机森林等。

标注问题：

标注问题与分类问题最大的不同在于，标注问题的一个特征向量对应一个标签向量，即对每一个特征都进行属性的判断。

特征序列的长度要远小于特征样本的个数。

标注常用的方法主要有：隐马尔科夫模型，条件随机场。

回归问题：

回归问题可以看作是分类问题的一种特殊情况，即分的类别无限多。回归问题的学习等价于函数拟合，选择一条函数曲线使其能够有很好的拟合已知数据并且能够很好的预测未知数据。

回归学习最常用的损失函数是平方损失函数，在此情况下可以用经典的最小二乘法来解决。