机器学习-3

正则化（考虑大数定律，限制参数取值范围，加入超参数）：
1、减少样本误差
2、减少大数定律的误差（实际与预测的误差）


原优化目标（均方误差）
新优化目标，加入正则化项（大数定律带来的误差）
正则化项的设计与调参：
稀疏解 - L1范式




校验validation：
1、常识性的观察法。
2、样本误差不能作为正则化项超参数的选择标准。
3、out = train（假设空间内最优假设） + validation（最优假设空间）
4、一个样本不能同时出现在train和val中。引出方法：cross validation 多轮校验。
5、在样本数量不多时，模型越简单越有效。LOO = leave one out


模型：
1、绝对值
2、线性
3、多项式，均方 -> 正则化超参数 + 样本校验
4、sigmod
5、阶跃




权衡：
1、细致（样本多）与泛化（样本少）的权衡。
2、哪一个定语是更重要的。地域、品牌、人群、语言。
3、拷问数据足够久，它终究会招供。
   模型准确率有大幅提高
   越设计精巧越不容易迁移


   
   
扩展假设空间：
1、将线性变为非线性（多项式）
   kerl函数（低维变高维->线性）
   什么样的边界是好的 - SVM - 减少了假设空间的可能-减少了模型复杂度
2、模型组合，决策树
3、神经元结构，输出作为输入