自然语言处理算法之集成算法基础以及boosting与bagging简介

集成学习通过结合多个学习器提升性能,尤其在自然语言处理的文本分类中表现出色。主要方法包括依赖关系的Boosting和并行化的Bagging。Boosting通过调整错误样例权重逐步优化,而Bagging利用Bootstrap采样创建独立的训练集。两种方法各有特点,例如随机森林和GBDT是它们与决策树结合的典型应用。
摘要由CSDN通过智能技术生成

在机器学习和统计学习中,集成学习(Ensemble Learning)是一种将多种学习算法组合在一起以取得更好表现的一种方法,机器学习下的集成学习主要是指有限的模型相互组合,而且可以有很多不同的结构,在自然语言处理过程中,特别是文本分类,很多时候集成学习的表现相对于其它的学习方法要好很多。

1个体与集成

集成学习通过构建并结合多个学习器来完成学习任务,有时也被称为多分类器系统、基于委员会的学习等。


如上图所示,为集成学习的一般结构:先产生一组“个体学习器”,再用某种策略将他们将它们结合起来,个体学习器通常由一个现有的学习算法从训练数据产生,例如C4.5决策树算法,BP神经网络算法等。此时集成中只包含同种类型的个体学习器,例如“决策树集成”中全是决策树,“神经网络集成”中全是神经网络,这样的集成就是“同质”的。同质集成中的个体学习器也称为“基学习器”,相应的学习算法称为“基学习算法”,集成也可包含不同类型的个体学习器,例如同时包含决策树和神经网络,这样的集成是“异质”的。异质集成中的个体学习器由不同的学习算法生成,这时就不再有基学习算法,相应的,个体学习器一般不称为基学习器,常称为“组件学习器”或直接称为个体学习器。


集成学习通过将多个学习器进行结合,常可获得比单一学习器显著优越的泛化性能。这对“弱学习器”尤为明显,因此集成学习的很多理论研究都是针对弱学习器进行的,而基学习器有时也被直接称为弱学习器,但需要注意的是,虽然从理论上来说使用弱学习器集成足以获得好的性能,但实践中出于种种考虑,例如希望使用较少的个体学习器,或是重用关于常见学习器的一些经验等,人们往往会使用比较强的学习器。


在一般经验中,如果把好坏不等的东西掺在一起,那么通常结果会是比最坏的要好一些,比最好的要坏一些,集成学习把多个学习器结合起来,如何能获得比最好的单一学习器更好的性能呢?


评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值