最近阅读了李航教授的统计学习,因此简单做个笔记,全当是对自己知识体系的差漏补缺。
什么是统计学习?
统计学习是计算机利用模型,对数据进行分析和预测的学科。统计学习有监督学习,半监督学习,非监督学习,还有强化学习。
统计学习三要素是什么?
- 模型
- 策略
- 算法
学习方法
统计学习有一个大的前提,就是数据独立同分布,楼主之前主要做迁移学习方面。考虑的问题大都是训练集和测试集不服从独立同分布假设。这里简单的介绍下:
- 监督学习
从有限个已知标记的数据出发,在某个空间内,根据某个规则选出一个最优的模型。 - 非监督学习
根据上述的定义可以推广以下,半监督就是有的数据已知标签,有的还是未知。 - 半监督学习
故名思议,已知的数据都没有标签。
学习目的
模型的学习最终是让模型的训练误差减小,同时保持有较高的泛化能力。
什么是模型的误差?
- 训练误差 在训练集上数据通过模型获得的预测值与真实标签的误差
- 测试误差 在测试集上数据通过模型获得的预测值与真实标签的误差
什么是泛化能力?
可以理解为模型的适应能力,有时候在训练数据上误差特别低,但是用到测试集上,误差突然增大,这就是出现了有名的过拟合现象,泛化能力差,训练的模型并不可用。
如何减小过拟合?
使用正则化方法,或者交叉验证法。
正则化方法一般使用L1
或者L2
正则。L1
主要是用来稀疏化数据的, L2
主要是压缩权值的。可以根据实际情况进行选择