机器学习笔记（四）模型提升

机器学习笔记（四）模型提升

1.模型提升的方法
非线性模型：
从线性模型到非线性模型
线性回归：多项式回归
支持向量机：给抵挡的核函数组合，基本属于“猜测”
决策树：空间划分的思想来处理非线性数据
深度学习：
感知机（神经网络）：线性回归+简单的非线性映射
多层感知机：多层神经元的组合，多个简单非线性函数的复合
深度学习（线性组合+非线性函数映射）：层数很大
模型集成：
训练多个弱模型，组合成一个“强”模型
增强模型的表达能力
降低误差
模型误差的来源：
训练集由函数f产生
假设空间H（模型空间）中理论上最好的函数为F
用训练集得到的函数为F* =argmax L(w) f∈H
逼近误差：模型空间与f的距离
估计误差：训练到的函数与模型空间最好的函数的距离

2.决策树：将问题问到点子上
决策树是用二叉树形图来表示处理逻辑的一种工具。可以直观、清晰地表达加工的逻辑要求。特别适合于判断因素比较少、逻辑组合关系不复杂的情况。
决策树提供了一种展示类似在什么条件下会得到什么值这类规则的方法。比如，在贷款申请中，要对申请的风险大小做出判断，图是为了解决这个问题而建立的一棵决策树