pandas进行时间处理

时间处理

目标：object类型的时间戳转datetime类型再转int类型时间戳进行diff计算时间差

1. object类型的时间戳转datetime（不加8小时会出现报错）

data.loc[:,'time'] = pd.to_datetime(data.loc[:,'time'], unit='s')
data['time']=data['time'].apply(lambda x:x+ datetime.timedelta(hours=8))

data['etl_day'] = data['collecttime'].apply(lambda x: x.strftime('%Y-%m-%d'))

datetime.strftime('%' )这个的前提是数据类型为datetime

2. 处理数据

对于“ss [“20211110”,“20211112”,“20211126”]”并且每一行长度不同的时间列处理方法（列名为A）：

先转成字符串table['A']= table['A'].apply(lambda x:str(x))

再切分table=table[0].str.split(' ',expand = True)，将ss 和对应时间列分开

空值补字符串0，否则后面不好用replace处理。

table.fillna(str(0),inplace=True)

按自己需要的格式处理

table = table.applymap(lambda x: x.replace('[', ''))
table = table.applymap(lambda x: x.replace(']', ''))
table = table.applymap(lambda x: x.replace(',', ''))
table = table.applymap(lambda x: x.replace("'", ''))

3. 再逐列转datetime，把Nat换成‘ ’，否则转回时间戳会报错

for i in table.columns:
	
table[i] =  pd.to_datetime(table[i],errors='coerce')
table[i] = table[i].apply(lambda x: x.strftime('%Y-%m-%d')if not pd.isnull(x) else '')

4. 转回int类型时间戳

 def change(x):
        if x != '':
            x = datetime.datetime.strptime(x, "%Y-%m-%d")
            return int(time.mktime(x.timetuple())) 
        else:
            return int(0)

for i in test.columns:
    test[i]= test[i].apply(lambda x:change(x))