pandas使用小结

最近几个月，用python批量处理公司的日志时，用到了pandas，所以可以记录下，用到的一些指令，以便以后不再踩到坑里了。

1merge

一般合并数据的时候会用到merge，它是指定key，然后将数据连接起来，一般需要指定连接方式how，how：指的是合并(连接)的方式有inner(内连接),left(左外连接),right(右外连接),outer(全外连接);默认为inner

2concat

合并来自不同日志的数据时，我更多的是用了concat，而不是merge，因为它可以保持dataframe原有的属性，合并是需要指定axis，axis=0表示向下合并，axis=1表示向右合并

3apply

apply是一个调用函数的方法，使用apply可以对指定的数据集中的每一个数据全部跑一遍指定的函数

4groupby

对数据进行分组

5read_csv的字段含义

df = pd.read_csv(file_path,//文件路径
                 names=column_names,//每列的属性名
                 header=None,//是否有表头
                 sep=file_sep,//分隔符
                 encoding='utf-8',//编码格式，当utf-8不行时，可以考虑使用latin1
                 quoting=csv.QUOTE_NONE,//引用
                 escapechar=',',//无视的特殊符号，
                 warn_bad_lines=True)//这个我忘了。。

还有一些基本的方法如drop_duplicates(),fillna()之类的顾名思义，就不多介绍，需要将来自己重新用到pandas的时候这篇小结能有所作用