问题:按日期统计的数据,缺失了某天,导致数据不全该怎么补充日期?
可以用两种方法实现:
- 1、DataFrame.reindex,调整dataframe的索引以适应新的索引
- 2、DataFrame.resample,可以对时间序列重采样,支持补充缺失值
问题:如果缺失了索引该怎么填充?
1、导入需要的包和相应的数据
import pandas as pd
%matplotlib inline
df = pd.DataFrame({
"pdate": ["2019-12-01", "2019-12-02", "2019-12-04", "2019-12-05"],
"pv": [100, 200, 400, 500],
"uv": [10, 20, 40, 50],
})
df.set_index("pdate").plot() #将pdate作为行索引,并且绘画出来的图是以pdate这一列作为x轴来进行绘图操作的。
方法1:使用pandas.reindex方法(解决缺失日期数据索引的方法一)
- 1、将df的索引变成日期索引
df_date = df.set_index("pdate")
df_date.index
# 将df的索引设置为日期索引
df_date = df_date.set_index(pd.to_datetime(df_date.index))
df_date
- 2、使用pandas.reindex填充缺失的索引
# 生成完整的日期序列
pdates = pd.date_range(start="2019-12-01", end="2019-12-05")
pdates
df_date_new = df_date.reindex(pdates, fill_value=0)
df_date_new
方法2:使用pandas.resample方法
- 1、先将索引变成日期索引
df_new2 = df.set_index(pd.to_datetime(df["pdate"])).drop("pdate", axis=1)
df_new2.index
- 2、使用dataframe的resample的方法按照天重采样
resample的含义:
改变数据的时间频率,比如把天数据变成月份,或者把小时数据变成分钟级别
resample的语法:
(DataFrame or Series).resample(arguments).(aggregate function)
resample的采样规则参数:
https://pandas.pydata.org/pandas-docs/stable/user_guide/timeseries.html#offset-aliases
# 由于采样会让区间变成一个值,所以需要指定mean等采样值的设定方法,隔零天来将其作为行索引
df_new2 = df_new2.resample("D").mean().fillna(0)
df_new2
# resample的使用方式,这里是将隔两天来显示相应的数据
df_new2.resample("2D").mean()