Trista的博客

spark中如果有中间结果（如抽样结果）需要存储，有两种方式，直接存为rdd，或者collect出来，再存储。存储为rddrdd.saveAsPickleFile("hdfs://ip/rdd")可直接使用。存储为dataframeimport picklerdd_collect = rdd.collect()f1 = open("/root/rdd_collect ....

解决报错DtypeWarning: Columns (2) have mixed types。今天在使用pandas读取csv的时候，语句为：df_question1 = pd.read_csv("D:/data/final/question20181201.csv",usecols=[2,4,15])出现了类型报错，报错内容如下：D:\Anaconda\lib\site-package...

最近经常用到dataframe，经常用的时候百度，用完就忘了，下次用的时候还要再次百度，所以在这里整理一下，以备后需。1 dataframe列操作首先新建一个dataframe,读取文件import pandas as pddf_test = pd.DataFrame("D:/data/test.csv")1.1 列命名假设有五行df_test.columns = ["id","...

今天读取csv时遇到了报错如下：nicodeDecodeError: ‘utf-8’ codec can’t decode byte 0xd1 in position 0: invalid continuation byte原本的代码doctor_info = pd.read_csv("F:/master/offline_of_teamwork/team_doctor_infomation....