![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
李航统计学习个人笔记
alone52Hz
这个作者很懒,什么都没留下…
展开
-
1.1 统计学习分类
统计学习 1.监督学习 supervised learning 2.非监督学习 unsupervised learning 3.半监督学习 semi-supervised learning 4.强化学习 reinforcement learning 常用词汇 训练集:training data 假设空间:hypothesis space 测试数据:test data 评价准则:ev原创 2017-03-13 14:14:14 · 457 阅读 · 0 评论 -
1.2 监督学习
预测问题分类 输入和输出均为连续变量的预测问题:回归问题 输出变量为有限个离线变量的预测问题:分类问题 输入和输出均为变量序列的预测问:标注问题 监督学习的重要假设 假设X与Y遵循某一个联合概率分布P(X,Y)(存在但是未知的分布),并且是独立同分布的,我们通常认为我们的得到的数据是依联合概率分布P(X,Y)产生的 监督学习的模型 概率模型和非概率模型 条件概率分布:P(Y|X)原创 2017-03-14 11:30:16 · 287 阅读 · 0 评论 -
1.3 统计学习三要素
模型:由参数向量决定的函数族(条件概率分布函数/决策函数),需要求模型参数向量 策略:选择最优模型的依据,如经验风险最小还是结构风险最小来求的最佳参数 算法:模型策略最优化,怎么去求解参数使得参数向量和真实的参数值误差小,并且复杂度低,既包括时间复杂度也包括空间复杂度,主要计算速度和存储空间的考虑模型的假设空间: 参数空间: 策略 损失函数; 风险函数: 经验风险函数: 结构风险函数原创 2017-03-14 11:49:09 · 706 阅读 · 0 评论 -
1.4 模型评估和模型选择
训练误差和测试误差有区别:两个可以不一致,一个用于训练模型,一个用于评估模型 过拟合:如果一味的追求提高对训练数据的预测能力,那么模型的复杂度往往比真模型更高,加上训练数据本身存在噪声,所以你对训练数据越拟合,那么可能越有问题,即学习得到模型参数过多,以至于模型对已知训练数据预测的很好,但对未知数据的预测很差。模型复杂,效果较差是我们不愿看到的。 欠拟合:模型复杂度较低,比真模型复杂度要低,学习原创 2017-03-14 16:34:55 · 586 阅读 · 0 评论 -
1.5 正则化和交叉验证
上一节说到:如何防止过拟合和欠拟合呢,即选择一个模型复杂度适中的模型,使得训练误差和测试误差均较小。常用两个方法:正则化和交叉验证 正则化:经验风险+正则化项=结构风险,而正则化项一般是模型复杂度的单调递增函数,模型越复杂,正则化值越大,为了简单在此可以把正则化项看作是模型参数个数、模型参数值的函数,不妨在此取模型参数向量的范数(1-范数(参数个数),2-范数(参数值)),在此过程中,不需要划分样原创 2017-03-14 17:54:33 · 692 阅读 · 0 评论 -
1.6 泛化能力
泛化能力:对未知数据的预测能力,我们通常用测试数据的测试误差来来评价泛化能力,但是由于测试数据集是有限的,测试误差很依赖测试数据集,所以需要在更多的未知的甚至全数据集合上评价其泛化能力 而模型预测值与真实值的误差的期望就是期望风险(符合某个联合分布P(X,Y),同样是未知而又真实存在的),泛化误差和训练误差之间是成正相关的,假设空间在有限个函数模型下,训练误差越小,泛化误差越小,泛化误差的上界以一原创 2017-03-14 18:34:49 · 2178 阅读 · 0 评论 -
1.7生成模型和判别模型
生成模型:通过学习联合概率P(X,Y),然后求出条件分布P(Y|X)为预测模型,典型如:朴素贝叶斯模型,隐马尔科夫模型 判别模型:学习的是条件概率P(Y|X)和决策函数f(X)作为预测函数,典型如:k临近法,感知机,决策树,logistic回归模型,最大熵模型,支持向量机,提升方法,条件随机场 生成优点:生成方法可以还原出联合概率P(X,Y),判别不能,生成方法收敛更快,存在隐变量时,不能使用判原创 2017-03-14 19:34:46 · 409 阅读 · 0 评论 -
1.8 分类问题
输出变量Y为离散的有限的值时,预测问题称为分类问题。学习得到的分类模型或者决策函数称为分类器。分类器性能评估的指标 准确率(accuracy):分类正确占总样本的比值,也可看着是0-1损失函数在测试集上的准确率一般二分类问题多,评价指标主要是精确率,召回率,准确率 在测试集上 TP:正类被预测为正类的数量 FN:正类被预测为负类的数量 FP:负类被预测为正类的数量 TN:负类被预测为负类原创 2017-03-14 20:39:09 · 451 阅读 · 0 评论 -
2.3 感知机模型
D数据,X特征,Y标签 算法代码class classfier(X,Y): def __init__(self,X,Y,W=0,Y=0): self.X=X self.Y=Y def classfier(self,X,Y): line=X.shape[0] for i in xrange(line) :原创 2017-03-15 19:21:42 · 382 阅读 · 0 评论