python数据挖掘入门与实战——学习笔记（第5、6章）

最新推荐文章于 2020-05-23 08:05:32 发布

岱宗雪

最新推荐文章于 2020-05-23 08:05:32 发布

阅读量931

点赞数

分类专栏： Python 机器学习与数据挖掘

本文链接：https://blog.csdn.net/daizongxue/article/details/77868460

版权

本文介绍了Python数据挖掘中如何利用转换器进行特征抽取和选择，探讨了VarianceThreshold、SelectKBest和SelectPercentile在特征选择中的应用。同时，文章还讲解了使用朴素贝叶斯进行社交媒体挖掘，强调了N元语法在理解上下文和发现拼写错误中的作用。

摘要由CSDN通过智能技术生成

本章所讨论的是如何从数据集中抽取数值和类别型特征，并选出最佳特征。

特征抽取

对于各个实物，我们只有先把现实用特征表示出来，才能借助数据挖掘的力量找到问题的答案。特征选择的另一个优点在于降低真实世界的复杂度。

dataframe中的unique函数有点类似于SQL中的distinct，能把一列中互不相同的元素筛选出来。

数据离散化：条件判断，划分。

特征选择

sklearn中的VarianceThreshold转换器可用来删除特征值的方差达不到最低标准的特征。

from sklearn.feature_selection import VarianceThreshold
vt = VarianceThreshold()
xt = vt.fit_transform(x)

输出xt后，会发现不符合要求的列消失了。
print(vt.variances_) #输出每一列的方差

选择最佳特征

sklearn提供了几个用于选择单变量特征的转换器：

SelectKBest返回k个最佳特征

SelectPercentile返回表现最佳的前r%个特征

单个特征和某一类别之间相关性的计算方法有很多。常用的有卡方检验、互信息、信息熵等。

使用SelectKBest转换器类，用卡方函数打分

fr

关注

专栏目录