数据分析 python对dataframe（excel）数据列进行单一字段筛选和多字段筛选

已于 2024-02-02 09:48:26 修改
阅读量1k 收藏 12
点赞数 16
文章标签： 数据分析 数据挖掘 python
于 2024-02-02 09:27:45 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_64922572/article/details/135986055
版权

一、讲解
1.单字段筛选：条件范围可以是数值或字符串
df[df[“column_name”] == value]

df.loc[df[“protein”] <= 30] 与 df[df[“protein”] <= 30]的运行结果是一样的 

2.多字段的筛选（又称为复合条件的筛选）:

2.1 多个不同的特征列，并且条件可以对应不同的数值或字符串
df[(df[“column_name1”] <= value) & (df[“column_name2”] == str)]

2.2 isin函数：df[df[“column_name”].isin(li)] (# li = [20, 25, 27] 或 li = np.arange(20, 30))
根据从isin函数传入的列表(li)，筛选出与列表中包含的数值或字符串相同的数据记录, 用法有点类似sql中的"in"


2.3 query函数：df.query("(column_name1 == ‘str1’) & (column_name2 == ‘str2’)")
根据query中引入的不同字段（str1，str2等）和条件，筛选出同时能满足这些要求的数据记录
                        
2.4 contains函数：df[df[“column_name”].str.contains(“str”)]
筛选出所有含有(str)的数据记录, 用法类似于sql中的"contains"

2.5 loc函数：df.loc[df["column_name] <= value]
根据特征属性（列名）或索引标签筛选数据：df.loc[columns 筛选条件] 或df.loc[index 筛选条件];
同时根据索引标签和特征属性（列名）筛选数据：df.loc[index 筛选条件，columns 筛选条件]
 

二、例子

 1.单一字段筛选例子：想筛选出”签证变更“的数据 

Qzbg=Qzbg[Qzbg['文件类型']=='签证变更']#只能筛选纯签证变更

或者 

 Qzbg=Qzbg[Qzbg["文件类型"].str.contains("签证变更")]

2.多字段筛选例子：筛选出含”估算、概算、预算、结算、决算、控制价“的数据，同时【审核金额元】不为0的数据

Ggyjjk = hb.query("(文件类型=='估算编制'|文件类型=='估算审核'|"
                           "文件类型=='概算编制'| "                     
                           "文件类型=='概算审核'| "
                           "文件类型=='概算审核,工程量清单/控制价审核'| "
                           "文件类型=='概算审核,估算审核'| "
                           "文件类型=='概算审核,结算编制,决算审核'| "
                           "文件类型=='工程进度款审核,工程量清单/控制价审核'| "
                           "文件类型=='工程进度款审核,结算审核'| "
                           "文件类型=='工程量清单/控制价编制'| "
                           "文件类型=='工程量清单/控制价编制,工程量清单/控制价审核'| "
                           "文件类型=='工程量清单/控制价编制,工程量清单/控制价审核,工程量清单/预算编制'| "
                           "文件类型=='工程量清单/控制价编制,工程量清单/预算编制'| "
                           "文件类型=='工程量清单/控制价编制,工程量清单/预算编制,工程量清单/预算审核'| "
                           "文件类型=='工程量清单/控制价编制,其他'| "
                           "文件类型=='工程量清单/控制价编制,其他联系函,工程联系函,其他'| "
                           "文件类型=='工程量清单/控制价审核'| "
                           "文件类型=='工程量清单/控制价审核,结算审核,其他联系函,请款资料,各类合同文件,行政资料,人事及财务资料,其他'| "
                           "文件类型=='工程量清单/控制价审核,其他'| "
                           "文件类型=='工程量清单/预算编制'| "
                           "文件类型=='工程量清单/预算编制,工程量清单/控制价编制'| "
                           "文件类型=='工程量清单/预算编制,工程量清单/预算审核'| "
                           "文件类型=='工程量清单/预算编制,询价报告'| "
                           "文件类型=='工程量清单/预算审核'| "
                           "文件类型=='工程量清单/预算审核,工程量清单/预算编制'| "
                           "文件类型=='工程量清单/预算审核,结算审核'| "
                           "文件类型=='估算编制'| "
                           "文件类型=='估算编制,概算审核,工程量清单/控制价编制,工程量清单/控制价审核,工程量清单/预算审核,工程量清单/预算编制'| "
                           "文件类型=='估算编制,工程联系函'| "
                           "文件类型=='估算审核'| "
                           "文件类型=='估算审核,估算编制'| "
                           "文件类型=='估算审核,估算编制,概算编制,概算审核,工程量清单/控制价编制,工程量清单/控制价审核,工程量清单/预算编制,工程量清单/预算审核,结算编制,结算审核'| "
                           "文件类型=='估算审核,估算编制,概算编制,概算审核,工程量清单/控制价编制,工程量清单/控制价审核,工程量清单/预算审核,工程量清单/预算编制,结算编制,结算审核'| "
                           "文件类型=='估算审核,估算编制,概算编制,概算审核,工程量清单/控制价审核,工程量清单/控制价编制,工程量清单/预算编制,工程量清单/预算审核,结算编制,结算审核'| "
                           "文件类型=='估算审核,结算审核'| "
                           "文件类型=='结算编制'| "
                           "文件类型=='结算编制,请款资料,其他'| "
                           "文件类型=='结算编制,工程量清单/控制价编制'| "
                           "文件类型=='结算审核'| "
                           "文件类型=='结算审核,工程进度款审核'| "
                           "文件类型=='结算审核,其他联系函'| "
                           "文件类型=='结算审核,结算编制,工程联系函,请款资料,其他'| "
                           "文件类型=='结算审核,决算审核'| "
                           "文件类型=='结算审核,请款资料'| "
                           "文件类型=='决算编制'| "
                           "文件类型=='决算编制,工程进度款审核'| "
                           "文件类型=='决算编制,其他联系函,其他'| "
                           "文件类型=='决算审核'| "
                           "文件类型=='其他,决算审核'| "
                           "文件类型=='其他联系函,估算审核'| "
                           "文件类型=='其他联系函,招标代理业务资料,咨询部业务资料,各类合同文件,其他,估算审核,工程量清单/控制价审核'| "
                           "文件类型=='请款资料,结算编制'| ""文件类型=='决算编制'|文件类型=='决算审核'|文件类型=='工程量清单/控制价编制'| 文件类型=='工程量清单/控制价审核') & (审核金额元 != 0)")

 注意：文件类型是长字段的话，代码定义文件类型也要长字段

GimFungGoon
关注
  • 16
    点赞
  • 踩
  • 12
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Python DataFrame设置/更改列表字段/元素类型的方法
12-25
Python DataFrame 如何设置列表字段/元素类型？ 比如笔者想将列表的两个字段由float64设置为int64，那么就要用到DataFrame的astype属性，举例如图： 该例列表为“m_pred_survived”字段为“PassengerId”及“Survived”，设置为int64类型，最后可以输出检验下是否正确。 m_pred_survived = pd.DataFrame(columns=['PassengerId', 'Survived']) 以上这篇Python DataFrame设置/更改列表字段/元素类型的方法就是小编分享给大家的全部内容了，希望能给大家一个
数据分析之Python 对Dataframe 单条件筛选、多条件筛选、过滤数据
m0_64922572的博客
02-02 2970
第1个参数是index: “0”-“6”；第2个参数是column: “name”, “protein”, “Qty”, “rank” # df.loc[6, :], # df.loc[6, “protein”]返回的结果是根据从isin函数传入的列表(li)，筛选出与列表中包含的数值或字符串相同的数据记录, 用法有点类似sql中的"in"df.loc[df[“protein”]
Pandas教程：教你DataFrame数据的条件筛选——精选篇
qq_41314882的博客
12-08 4545
pandas是一个Python数据分析库，它提供了许多方便的函数和方法帮助我们处理数据。此外，pandas还可以与其他Python库集成使用，如NumPy、Matplotlib等，以进行更复杂的数据处理和可视化。pandas的主要功能包括
Python处理Excel，学会这十四个方法，工作量减少大半
最新发布
2401_84103072的博客
04-03 743
现在能在网上找到很多很多的学习资源，有免费的也有收费的，当我拿到1套比较全的学习资源之前，我并没着急去看第1节，我而是去审视这套资源是否值得学习，有时候也会去问一些学长的意见，如果可以之后，我会对这套学习资源做1个学习计划，我的学习计划主要包括规划图和学习进度表。sale.loc[(sale[“利润”]/sale[“订单金额”])0.3,“label”]=“优质商品”
python 处理dataframe中的时间字段方法
01-20
在机器学习过程中，通常会通过pandas读取csv文件，保持成dadaframe格式，然而有时候需要对dataframe中的时间字段进行数据建模，比如时间格式为datetime，那么像一般操作dataframe的方式来操作时间字段会报错的，所以在使用sklearn库进行fit和predict的时候，通常要把时间字段首先转换为timestamp格式，在fit和predict之后，如果需要matplotlib绘图的时候，再把timestamp格式转换为时间字符串，比如2017-02-01 14:25:14。 下面是我处理过的一段代码，希望可以帮到童鞋们！ doc_list1 = [] for i
Python 对DataFrame数据分组并排序并选择最优数据
12-21
Python 对DataFrame数据分组并排序并选择最优数据 目的：对数据按第一列分组，按第二列降序排序，按第三列升序排序，选择每组中最好的输出 数据： 开始： import pandas as pd df = pd.read_excel('product.xlsx',names=['product','score1','score2'],header=None) df df = df.sort_values(by=['score1','score2'],ascending=[False,True]) #False表示降序排序 df df = df.groupby('produc
Python：使用pandas对excel数据筛选选择
焊武大帝的专栏
07-14 7467
直接筛选#DataFrame索引使用[],#直接索引语法:df[]1.1 直接筛选,选择单列数据：df["列"]1.2直接筛选,选择多列数据：df[["列1","列2"]](注意:多嵌套列)1.3直接筛选,选择多行数据：df[2:4]按照位置选取连续的行(切片)，前闭后开。
Python---excel筛选
weixin_43631804的博客
08-25 4255
这次是想对excel的数据进行筛选功能，减轻一些数据负担，虽然excel自带了筛选功能，但是一个是需要一次次点击，另外若是存在多个数据，那么就会发现你所做的操作又重复又无聊。
[python]python筛选excel表格信息并保存到另一个excel
汽车-嵌入式-工作笔记-autosar
11-17 1233
python筛选excel表格信息并保存到另一个excel
【办公自动化】在Excel中按条件筛选数据并存入新的表
热门推荐
m0_64336780的博客
10-02 1万+
老板想要看去年每月领料数量大于1000的数据。手动筛选并复制粘贴出来，需要重复操作12次，实在太麻烦了，还是让Python来做吧
python创建excel并冻结首行
weixin_43156734的博客
11-11 2961
python创建excel并冻结首行 python 创建xls文件后想要冻结首行，总是报错： 例如下面这样： zipfile.BadZipFile: File is not a zip file 又或者是冻结时使用’A2’时无效 甚是头痛，故记录一下解决办法。 很简单，就是不要先保存再冻结，放在一起搞！！针对第二个问题，使用sheet.set_panes_frozen('1')是有效的。 希望可以帮助到你(￣▽￣)~* 具体代码如下： def create_xls_and_freeze_Top_line(
python dataframe astype 字段类型转换方法
12-23
使用astype实现dataframe字段类型转换 # -*- coding: UTF-8 -*- import pandas as pd df = pd.DataFrame([{'col1':'a', 'col2':'1'}, {'col1':'b', 'col2':'2'}]) print df.dtypes df['col2'] = df['col2'].astype...
Python程序设计：使用python进行数据分析.pptx
06-13
数据筛选 数据处理 统计分析 可视化 数据处理 读写数据 在Pandas中，可通过DataFrame对象的to_csv()方法完成csv文件的写入。 在Pandas中读写Excel文件的时候需要依赖xlrd和openpyx库。可通过read_excel()函数和to_...
[pandas] DataFrame 筛选多项条件
weixin_43988131的博客
09-09 599
DataFrame 筛选多项条件 some = all_data[(all_data['User_id'] == 1439408) & (all_data['Date'].isna())]
【pandas的dataframe过滤数据方法】
weixin_41777118的博客
05-07 1750
在以上例子中，df是pandas DataFrame对象，‘column_name’、‘column_name1’、'column_name2’是DataFrame的列名，value、value1、value2是筛选条件。通过这些布尔索引的使用，可以方便地选取满足特定条件的行。
Python 帮同事用pandas快速筛选Excel文件
汉阳Hann's Home
12-20 6452
1. python 支持中文名变量，直接用列名作变量有好处，省得注释以及想很多变量名称来命名。 2. DataFrame筛选条件的逻辑运算用 & | ，其运算级别高于“大于”“小于”“等于”等。 3. 取DataFrame的列，可以用 df['收款人'] 也能用 df.收款人，我觉得用后者更方便点。 4. 源数据“摘要”列中有空单元格，读入DataFrame中后其值为nan，这个起先没注意到代码一直报错。后查询到df有.fillna()方法可以替换掉空值。 5. 求行数可以直接用len(df)，也可...
python：数据预处理 一键实现EXCEL的数据筛选、替换、合并、透视
htuhxf的博客
01-24 9039
import pandas as pd import numpy as np from time import time class Year(object): def __init__(self, max_month, first_month, first_quarter): self.first_quarter = first_quarter sel...
Python学习：如何筛选Excel文件中的特定列的数据
weixin_46110783的博客
03-23 1549
Python语言实现需求：根据文件A中的某列数据，对文件B的列名进行筛选，并输出文件B筛选后的内容。 举例：现有Excel文件A和B，需要将A文件中的column_name列中的数据取出，用来筛选文件B中的列名，并输出筛选结果。
Python处理Excel数据筛选
SRE成长记
01-17 1415
Python处理Excel数据筛选
python筛选excel中包含多个字段开头的列
03-20
可以使用pandas库中的DataFrame来筛选excel中包含多个字段开头的列。具体的代码如下： ```python import pandas as pd # 读取excel文件 df = pd.read_excel('your_excel_file.xlsx') # 筛选包含多个字段开头的列 cols = df.columns[df.columns.str.startswith(('field1', 'field2'))] # 获取筛选后的数据 result = df[cols] ``` 其中，'your_excel_file.xlsx'是你要读取的excel文件名，'field1'和'field2'是你要筛选的字段开头。这段代码会返回一个DataFrame，其中包含所有以'field1'或'field2'开头的列。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值