统计学习方法笔记(好low...)也就打打基础方便阅读吧
训练误差和测试误差跟模型的复杂度有关,模型越复杂,训练误差越小,测试误差会先减小,后增大(发生过拟合),模型越复杂,过拟合现象越明显。
L2范数、L1范数 对应L2/L1正则化?
交叉验证(简单交叉验证、S折交叉验证、留一交叉验证)
突然想到的:没有免费的午餐定理,不能把鸡蛋放在同一个篮子里.......
P16泛化能力上届搞得不是太懂
生成模型(朴素贝叶斯法和隐形马尔科夫模型),判别模型(K近邻法、感知机、决策树、logistics回归模型、最大熵模型、支持向量机、adaboost,条件随机场)
分类问题:有监督学习,训练数据训练出来分类器用于对测试数据进行分类预测。
二分类问题常用的分类指标:准确率(precision)、召回率(recall)、TP/FP/TN/FN、F1等等等等
标注问题(什么鬼?)
回归问题:有监督学习,回归模型,从输入X到输出Y之间的映射函数(一元回归、多元回归、线性回归、非线性回归),最常用的损失函数平方损失函数
说到损失函数,我们就不得不对损失函数进行一个总结,这要总结起来可能就没完了....大部分的模型最后都会有loss层,所以损失函数很重要啊
损失函数(loss function/cost function):是输出预测值f(x)和真实值Y之间的非负实值函数,记作L(Y,f(x))
常用的损失函数有:
(1)0-1损失函数
(2)平方损失函数
(3)绝对值损失函数
(4)对数损失函数/对数似然损失函数