最近做比赛,有时候需要造出新的特征,而这次遇到的问题是将一列数据往下顺移一位。同时将开头缺失的那一个数据用其他方式填充。
df['feature'].shift(1)向下顺移一位,这时第一位会置为nan,需要填充。
----------------------历史分割线-----------------
错误方案:
当时首先想到的是用loc来直接进行替换,也就是
i = len(dt)
dt_new = pd.DataFrame()
dt_new.loc[0, 'test'] = 0
dt_new.loc[1 : i - 1, 'test'] = dt.loc[0 : i - 2, 'data'] #这里会报错
愿望很美好,现实很残酷,这种方法会报错。
不太好的方案:
于是打算用循环的办法一个一个替换
dt_new = pd.DataFrame()
dt_new.loc[0, 'test'] = 0
for i in range(len(dt) - 1):
dt_new.loc[i + 1, 'test'] = dt.loc[i, 'data']
然而这个仅仅O(n)算法复杂度的东西,实际检验当用在几万行数据真的可以给你算好久好久,所以这个办法也弃用了。
正确方案:
pandas的dataframe,每一行是有序号的,直接进行替换的话,有时它会将相同序号的进行替换,这个是d