weixin_43790560的博客

最近接手一个任务，从一个有40亿行数据的csv文件中抽取出满足条件的某些行的数据，40亿行。。。如果直接使用pandas的read_csv()方法去读取这个csv文件，那服务器的内存是会吃不消的，所以就非常有必要使用chunksize去分块处理。现在就开始讲chunksize的一些使用。**1.本次任务的目标**红框内是时间戳，需要使用pd.to_datetime()函数去将时间戳转换为...

这是我的数据，红色部分是时间戳。这一列我将其取名为’time_stamp’.要想将时间戳转换为日期格式需要用到**pd.to_datetime()**这个函数，示例:df['time_stamp']=pd.to_datetime(df['time_stamp'],unit='s',origin=pd.Timestamp('2018-07-01'))这个的意思是将time_stamp这列的...

查了网上很多博客，发现都是用等号简单赋值，但这样是不行的，无意间发现了pandas.DataFrame.replace()这个函数，使用这个函数才能真正修改某个值，使用方法如下：df.replace(a , b , inplace = True)其中，a是原始值，b是修改后的值，注意一定要加 inplace = True才能替换成功。...