利用分类模型学习特征权重

最新推荐文章于 2024-06-17 06:30:00 发布

火贪三刀

最新推荐文章于 2024-06-17 06:30:00 发布

阅读量1w

点赞数 4

分类专栏：机器学习文章标签：特征权重

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/shijing_0214/article/details/51568705

版权

为了确定特征在分类器中的重要性，可以使用决策树的信息增益或基于投票的SVM分类器。通过信息增益，计算每个特征在训练数据集下的信息增益并归一化。另外，可以训练单特征SVM分类器，统计测试集上的正确分类数并归一化作为权重。还可以采用缺一法，训练缺失某个特征的分类器，计算错误分类数并归一化得到特征权重。

摘要由CSDN通过智能技术生成

在有的时候，我们需要学习出特征在分类器中所占的比重，例如判断某个人是否具有贷款资格，特征收入应该比年龄要更重要一些，那么具体重要多少，我们可以通过训练数据学习出来。

第一个办法可以借鉴决策树中特征选择的思想，以贷款为例，特征向量=｛年龄，收入，有房子，婚否｝。通过计算每个特征 $A_i$ 在训练数据集下的信息增益：

gi(D,Ai)=H(D)−H(D|Ai)，i=1,2,3,4 $g_i(D,A_i)=H(D)-H(D|A_i)，i=1,2,3,4$

得到四个信息增益值，对其做归一化处理，可得每个特征所占的权重：

wi=

最低0.47元/天解锁文章

关注

4
点赞
踩
22

收藏

觉得还不错? 一键收藏
0
评论
利用分类模型学习特征权重

在有的时候，我们需要学习出特征在分类器中所占的比重，例如判断某个人是否具有贷款资格，特征收入应该比年龄要更重要一些，那么具体重要多少，我们可以通过训练数据学习出来。第一个办法可以借鉴决策树中特征选择的思想，以贷款为例，特征向量=｛年龄，收入，有房子，婚否｝。通过计算每个特征AiA_i在训练数据集下的信息增益： gi(D,Ai)=H(D)−H(D|Ai)，i=1,2,3,4g_i(D,A_i)=
复制链接

扫一扫

专栏目录

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。