删除具有重复索引的行(Pandas DataFrame和TimeSeries)
我在网上读一些自动的天气数据。观测每5分钟进行一次,并编入每个气象站的每月档案。当我解析完一个文件后,DataFrame看起来如下所示:
Sta Precip1hr Precip5min Temp DewPnt WindSpd WindDir AtmPress
Date
2001-01-01 00:00:00 KPDX 0 0 4 3 0 0 30.31
2001-01-01 00:05:00 KPDX 0 0 4 3 0 0 30.30
2001-01-01 00:10:00 KPDX 0 0 4 3 4 80 30.30
2001-01-01 00:15:00 KPDX 0 0 3 2 5 90 30.30
2001-01-01 00:20:00 KPDX 0 0 3 2 10 110 30.28
我遇到的问题是,有时科学家会回去纠正观察-不是通过编辑错误的行,而是在文件的末尾附加一个重复的行。这种情况的简单例子如下:
import pandas
import datetime
startdate = datetime.datetime(2001, 1, 1, 0, 0)
enddate = datetime.d