Python pandas处理数据的一些记录

关于Python其实没有详细学过,接触Python是因为有个项目需要处理数据。边用边记录,也不知道后续还会不会继续使用。新手小白的记录,不一定会更新,内容也很简单,记录只当是在做笔记啦。
首先,需要安装几个插件,其他的插件暂时没用上,目前只是很简单的数据处理。

pandas
xlrd	//1.2.0 这个版本可以打开.xlsx 文件

下面是一个很简单的Excel文件合并,需求就是把08年到20年的数据都去重后合并起来,非常的简单,但是手动操作又很繁琐,所以就写了程序。

import pandas as pd


path = r'E:\气候\文档\高温\高温_20'
arr = ['08', '09', '10', '11', '12', '13', '14', '15', '16', '17', '18', '19', '20']
df = []

for i in arr:    
    file = path + i + '.xlsx'
    # 读取文件
    d = pd.read_excel(file)
    # 根据相应列去重
    a = d.drop_duplicates(subset=['StationName', 'Stationnum', 'Tmax'], keep='first')
    df.append(a)
    
res = pd.concat(df)
res.to_excel("E:/气候/文档/高温/逐年去重/高温_去重.xlsx", index=False)

20220316更新

多个sheet数据拆分

表格如下,根据“num”进行拆分,每一个sheet生成一个xlsx 文件,并将相同num的数据放在同一文件夹中。
sheet 1 内容
sheet 2 内容
sheet 3 内容

import pandas as pd

path = r'E:\py_datas\ganhan.xls'
arr = [10001553, 10001464, 10001647, 10001652, 10001632,</
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值