1、数据框去除重复
data1 = data1.drop_duplicates()
pd.dataframe.drop_duplicates(self,subset=None,keep='first',inplace=False)
参数含义:subse:接受特定的字符串或者sequence。表示进行去重的列。默认为None,表示全部列。
keep:接受特定的字符串,表示重复时保留的第几个数据
first:保留第一个
last:保留最后一个
false:只要有重复都不保留
默认为 first
inplace:接受的boolean.表示是否在原表上进行操作,默认为False。
2、数据框拼接
# 两种方式,concat、append皆可以
result3=pd.concat([result1,result2],ignore_index=True)
result3=result1.append(result2,ignore_index=True)
#ignore_index=True
# 用法
pd.concat(objs, axis=0, join='outer', join_axes=None, ignore_index=False,
keys=None, levels=None, names=None, verify_integrity=False,
copy=True)
axis:要粘在哪个轴上。默认0,粘贴行。
join:默认outer,合集;inner,交集。
ignore_index:布尔型,默认False。如果为Ture的话,会重新分配index从0...n-1。
keys:一个序列,默认None。建立等级索引,作为最外层的level。
levels:序列sequences构成的list,默认None。
3.数据框列的添加与删除
3.1列的添加
## 1生成DataFrame数据
df = DataFrame(np.random.randn(4, 5), columns=['A', 'B', 'C', 'D', 'E'])
# DataFrame数据预览:
A B C D E
0 0.673092 0.230338 -0.171681 0.312303 -0.184813
1 -0.504482 -0.344286 -0.050845 -0.811277 -0.298181
2 0.542788 0.207708 0.651379 -0.656214 0.507595
3 -0.249410 0.131549 -2.198480 -0.437407 1.628228
#2计算各列数据总和并作为新列添加到末尾
#3df['Col_sum'] = df.apply(lambda x: x.sum(), axis=1)
#3计算各行数据总和并作为新行添加到末尾
df.loc['Row_sum'] = df.apply(lambda x: x.sum())
#最终的计算结果
A B C D E Col_sum
0 0.673092 0.230338 -0.171681 0.312303 -0.184813 0.859238
1 -0.504482 -0.344286 -0.050845 -0.811277 -0.298181 -2.009071
2 0.542788 0.207708 0.651379 -0.656214 0.507595 1.253256
3 -0.249410 0.131549 -2.198480 -0.437407 1.628228 -1.125520
Row_sum 0.461987 0.225310 -1.769627 -1.592595 1.652828 -1.022097
4.数据框的读入与写出
python中读取文件主要有readcsv和read_table两种类型。read_table 参数图
read_table的标准格式可以表示为