按照某特征值筛选dataframe中的列

#本文主要争对需要处理的数据列名命名比较有规律,或者你需要提取的列的名字能够总结出某一特性
这也是我处理数据遇到的坑,搜索了半天都没有找到语句易读的处理办法。。。后来自己慢慢翻函数找的。。。

#主要语句
filter()
filter里面主要填两个参数:①函数 ②对象
最后会根据函数判断对象,返回布尔值(True or False),最终返回True的值。

#处理思路
对象——明显是dataframe含有的所有列
函数——你总结出来的需要提取的列的特性,比如列名长度、都含有某文本等

#例子
在这里插入图片描述
从原数据看,明显有一类是mean_new,有一类是mean。我希望提取mean_new类型的列和city列。采用反向思维简化问题:drop掉F\d{7}mean的列
#语句

m = filter(lambda x: len(x) 
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
特征值筛选是指通过某种方法或算法,从给定的特征集合选择出最具有代表性或重要性的特征。在Python,有多种方法可以进行特征值筛选。 一种常用的方法是使用sklearn库的SelectKBest函数,结合卡方检验(chi-square test)来选择最佳的K个特征。该方法通过矩阵相乘快速计算出特征的观测和期望,并计算出各特征的χ2后进行排序选择。示例代码如下: ```python from sklearn.datasets import load_iris from sklearn.feature_selection import SelectKBest from sklearn.feature_selection import chi2 x, y = load_iris(return_X_y=True) x_new = SelectKBest(chi2, k=2).fit_transform(x, y) ``` 另一种方法是基于决策树的树模型,如随机森林、Lightgbm和Xgboost等。这些模型在树生长过程会启发式地搜索特征子集,并可以直接输出特征的重要性。示例代码如下: ```python from lightgbm import LGBMClassifier from lightgbm import plot_importance import matplotlib.pyplot as plt model = LGBMClassifier() model.fit(x, y) plot_importance(model, max_num_features=20, figsize=(10,5), importance_type='split') plt.show() feature_importance = pd.DataFrame({ 'feature': model.booster_.feature_name(), 'gain': model.booster_.feature_importance('gain'), 'split': model.booster_.feature_importance('split') }).sort_values('gain', ascending=False) ``` 还有一种方法是使用互信息(mutual information)来衡量特征的信息贡献程度。互信息的大小代表特征的信息增益。示例代码如下: ```python from sklearn.feature_selection import mutual_info_classif from sklearn.datasets import load_iris x, y = load_iris(return_X_y=True) mutual_info_classif(x, y) ``` 以上是Python常用的特征值筛选方法,可以根据具体的需求选择适合的方法来进行特征值筛选。 #### 引用[.reference_title] - *1* *2* *3* [Python特征选择](https://blog.csdn.net/m0_61899108/article/details/122444256)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^koosearch_v1,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值