Tiffany学习的博客

1.1统计学习一统计学习的特点统计学习也称为机器学习如果一个系统能够通过执行某个过程改善他的性能，这就是学习二机器学习的对象数据：在统计学习过程中，以变量或者变量组表示数据，以离散数据为主三统计学习的目的考虑学习什么样的模型和如何学习模型，以使模型能对数据进行准确的预测与分析，同时也要考虑尽可能高的提高效率四 统计学习的方法主要研究监督学习，统计学习方法的三要素：模型，策略，算法步骤如下：（1）得...

1.2监督学习一基本概念1输入空间：在监督学习中，将输入与输出所有可能取值的集合分别称为输入空间与输出空间2监督学习从训练数据集合中学习模型，对测试数据进行预测。训练数据由输入与输出对组成，测试数据也由相应的输入输出对组成。输入输出对又称为样本或样本点。3输入变量与输出变量均为连续变量的预测问题称为回归问题；输出变量为有限个离散变量的预测问题称为分类问题；输入变量与输出变量均为变量序列的预测问题称...

1.3统计学习三要素方法 = 模型+策略+算法一模型（首先考虑学习什么样的模型）模型的假设空间包含所有可能的条件概率分布或决策函数假设空间用F表示，假设空间可以定义为决策函数的集合：F = {f | Y = f(X)}，策略函数表示的模型为非概率模型。假设空间也可以定义为条件概率的集合：F = {P| P(Y|X)}，条件概率表示的模型为概率模型。(X和Y是定义在输入空间X 和输出空间Y)二策略（...

1.4模型评估与模型选择一训练误差与测试误差（学习方法评估的标准）1训练误差的大小，对判断给定的问题是不是一个容易学习的问题是有意义的，但本质上不重要2测试误差反映了学习方法对未知的测试数据集的预测能力，是学习中的重要概念。二过拟合与模型选择1如果一味追求提高对训练数据的预测能力，所选模型的复杂度往往会比真模型更高，这种现象称为过拟合。（学习时所选模型参数过多）2模型选择时，不仅要考虑对已知数据的...

1.5正则化与交叉验证（两种模型选择方法）一正则化1模型选择典型的方法就是正则化。正则化是结构风险最小化策略的实现，是在经验风险上加一个正则化项或罚项。正则化项一般是模型复杂度的单调递增函数，模型越复杂，正则化值就越大。2正则化项可以取不同的形式3正则化的作用：选择经验风险和模型复杂度同时较小的模型二交叉验证1进行模型选择一种简单的方法是随机地将数据集切分成三部分，分别为训练集，验证集，测试集。训...