pandas对数据进行简单操作

pandas一个第三方开源库，安装方式
pip install pandas，安装成功后在窗口端输入以下命令如果没报错则说明安装成功。如果速度过慢可以使用豆瓣的镜像进行安装。
若是安装错误，可以删除重新安装卸载库的方式为pip uninstall pandas

用pandas对Excel表进行操作，pandas可以对很多类型数据进行操作如text、json、csv等一些其他格式数据进行操作，在这里我就使用Excel了。

##一些注意事项：
1.在操作时避免数据操作失误，建议copy一份数据在进行操作：

import pandas as pd 
db=pd.read_csv("work.csv")
df1=pd.DataFrame(db)
df2=df1.copy()

2.保存数据编码问题：
在保存数据格式为csv时，数据中有中文，为了防止乱码，建议使用encoding='gbk’进行保存

3.保存数据数据问题：
保存数据时若是直接进行保存则会出现panda自带的索引，想要去除，需要加index=False

一、读取数据

读取数据是第一步，读取json、text等一些其他数据同理，只需要替换csv

import pandas as pd
import re
import pprint#pprint这是一个是输出美观的库，可安可不安，安装法法与pandas一致
df=pd.read_csv(r"C:\Users\13923\Desktop\sina.csv",encoding="gbk")
db=pd.DataFrame(df)
pprint.pprint(db)

二、去除空值

对于空值我们常见的操作手段有
-1.直接去除（如：存在空值直接删除）
-2.进行填充（如：对于数值型数据填充平均值）

***直接去除：

 db.dropna(axis=0,how="any")
#axis的值有两个0和1,0代表横轴、1代表纵轴，这很好记。how有两个值，any和all，意思分别是只要有一个空值，就会删掉整列或整行，而另一个则是要全都是空才能删掉整行或整列

***进行填充（在空值出填充你所给定的数据）：

df.fillna(value='叒枅')#这是在空白处填充叒枅
df.fillna(df[column].mean(),inplace=True)#这是在空白填充平均值，适用于数值型数据
df.fillna(method='ffill') # 向上寻找最近的一个非空值，以该值来填充缺失的位置，全称forward fill，非常有用
df.fillna(method='bfill')  # 向下寻找最近的一个非空值，以该值来填充确实的位置，全称backward fill

三、去除重复行

db.drop_duplicates()
#若括号中没有添加条件，则表示对行中所有的数据进行对比，若都一样才会删除
db.drop_duplicates("rank")
#我的数据特殊，rank出现重复，但是需要进行比较，所只能留存一个，故这时需要在括号中输入你说需要对比的条件。

四、保存数据

df.to_csv('wash.csv', encoding='gbk', index=False)