python pandas常用功能和dataFrame数据筛选方法记录

Pandas一些常用功能:

# 合并dataFrame并重置index
pd.concat([df1, df2], ignore_index=True)
# 读pickle文件,指定压缩
df = pd.read_pickle("/xxx/df.pkl", compression='gzip')
# 去重
df.drop_duplicates()
# 输出到excel、pickle
df.to_excel("/xxx/df.xlsx", index=False)
df.to_pickle("/xxx/df.pkl", compression='gzip')

pandas DataFrame筛选数据的常用方法:

提取dataFrame中的某两列数据,
条件为:某列数据符合name的,并设置其中一列数据为index(这样就变成了Series)
df = df[['START_TIME', 'VALUE_CALC']][(df['NE_NAME'] == name)].set_index('START_TIME')

新生成的Series是datetimeIndex,支持切片筛选
df = df[pastday:yesterday]

获取index转成list 
X = list(df.index)

获取values转成list
Y = list(['VALUE_CALC'])

多个筛选dataFrame的条件可以用 & | 连接,将每个条件用()括起来
提取df中 起始时间列 >=start(日期时间字符串)\
并且 结束时间列 <=end(日期时间字符串)\
并且 名字列 中所有在namelist中的数据
(.isin()方法:传入一个list,筛选出列中符合list中元素的所有行,这里namelist是列表[])
df[(df['START_TIME'] >= start) & (df['END_TIME'] <= end) & (df['NE_NAME'].isin(namelist))]
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值