笔记？？

统计学习方法笔记（好low...）也就打打基础方便阅读吧

训练误差和测试误差跟模型的复杂度有关，模型越复杂，训练误差越小，测试误差会先减小，后增大（发生过拟合），模型越复杂，过拟合现象越明显。

L2范数、L1范数  对应L2/L1正则化？

交叉验证（简单交叉验证、S折交叉验证、留一交叉验证）

突然想到的：没有免费的午餐定理，不能把鸡蛋放在同一个篮子里.......

P16泛化能力上届搞得不是太懂

生成模型（朴素贝叶斯法和隐形马尔科夫模型），判别模型（K近邻法、感知机、决策树、logistics回归模型、最大熵模型、支持向量机、adaboost，条件随机场）

分类问题：有监督学习，训练数据训练出来分类器用于对测试数据进行分类预测。

二分类问题常用的分类指标：准确率（precision）、召回率（recall）、TP/FP/TN/FN、F1等等等等

标注问题（什么鬼？）

回归问题：有监督学习，回归模型，从输入X到输出Y之间的映射函数（一元回归、多元回归、线性回归、非线性回归），最常用的损失函数平方损失函数

说到损失函数，我们就不得不对损失函数进行一个总结，这要总结起来可能就没完了....大部分的模型最后都会有loss层，所以损失函数很重要啊

损失函数（loss function/cost function）：是输出预测值f(x)和真实值Y之间的非负实值函数，记作L(Y,f(x))

常用的损失函数有：

 （1）0-1损失函数

 （2）平方损失函数

 （3）绝对值损失函数

 （4）对数损失函数/对数似然损失函数