pandas （二）

1 读取csv文件
pd.read_csv("./file.csv",sep="—",encoding=‘utf-8’,header=None,engine=‘python’,names=[‘职位名称’,‘公司名’,‘工作地点’,‘薪资’,‘发布日期’])
file 文件 , sep 分隔符, encoding = ‘utf-8’ 字符编码 header=None 不把文件的第一行当做 列索引，names 设置列索引
2 data2=data2.set_index(“name”) 将name列设为行索引
3 保存到csv文件
data2.to_csv("./new.csv",header=False,index=False,sep=’’,encoding=‘utf-8’)
header=False,index=False 不保存行索引和列索引
4 从 excel 读取数据
pd.read_excel("./file.xls",sheet_name=‘中央国家行政机关’)

删除异常值

score=pd.read_csv("./file/stu_score.csv",names=[‘classes’,‘stuid’,‘C’,‘M’,‘E’])
5 score.dropna() 删除掉带有nan值的行
6 score.loc[:,“C”:“E”].dropna(how=‘all’) # how=all 当一行里所有的值都为nan的时候,才删除该行
7 score.index 取出列索引
8 score.set_index([‘classes’,‘stuid’]).dropna(how=‘all’).reset_index()
先把这两列设置为索引列,删除 异常数据,再把索引重置回来
9 score.dropna(thresh=3) thresh 超过或等于3个nan值的时候,删除该行
10 score.fillna(999) #把异常值替换为某一个值
11 score.fillna(method=‘bfill’,axis=1)
bfill 使用下一行填充 ffill 使用上一行 # axis =0 按照行 axis=1 按照列
12 score.fillna({“C”:60,“M”:0,“E”:0}) # 指定某一列填充指定值
13 score.replace({np.nan:6666}) 替换
14 score.count() #统计非nan值的行数
15 score.count(axis=1) # 计算非nan值的列
16 score.loc[:,‘C’:“E”].max() 返回最大值
17 print(score.loc[:,‘C’:“E”].idxmax()) 返回最大值的索引
18 score.quantile() score.median() score.mean(）
返回众数、中位数、平均值
19 score.loc[:,“C”:“E”].mean(axis=1).sort_values(ascending=False)
返回 C到E列的平均值
sort_values(ascending=False) 按从大到小排序
20 score.loc[:,“C”:“E”].mean(axis=0))
返回 C到E行的平均值
21 mad 根据平均值计算平均距离差 var计算方差 std计算标准差
score.loc[:,“C”:“E”].mad(axis=1).sort_values()
22 score.loc[:,“C”:“E”].pct_change()
pct_change() 计算样本的变化相对于上一个值的变化率

相关系数和协方差

level=np.array([3,1,4,2,5])
kill=np.array([10,0,20,5,22])
23 kda[‘level’].cov(kda[‘kill’])
计算cov 协方差 正无穷 和负无穷之间
24 kda[‘level’].corr(kda[‘kill’])
计算corr 相关系数 +1 he -1 之间