DataComPy 超级好用的,用于比较两个Pandas DataFrame的程序包

 官方文档 :

DataComPy — datacompy 0.8.2 documentationhttps://capitalone.github.io/datacompy/index.html要求:

这2个DataFrame的列是完全一样,列数与列名。否则会报错:

        KeyError: 'xxxxx_match'

如是列名不一样可以先重命名列名再比较。然后根据列名取出比较的结果,返回的都是DataFrame

df1.columns=[1,2,3,4,5]
df2.columns=[1,2,3,4,5]

dd = datacompy.Compare(df1, df2, join_columns="1")  # '1' 是列名
print(dd.report()) #打印所有比较结果

print('---- 2----')
diff_per = dd.sample_mismatch('2')  # 
print(diff_per)
print('---- 3----')
diff_per1 = dd.sample_mismatch('3')
print(diff_per1)  # 取出列3不相同的数据,返回 dataframe

print('---- 4-----')
diff_per2 = dd.sample_mismatch('4')
print(diff_per)  # 取出不相同的某一列数据,返回 dataframe
print('---- df1 新增-----')
print(dd.df1_unq_rows)
print('---- df2 新增-----')
print(dd.df2_unq_rows)

dd.report() 结果:

DataComPy Comparison
--------------------

DataFrame Summary
-----------------

  DataFrame  Columns  Rows
0       df1        5    53
1       df2        5    50

Column Summary
--------------

Number of columns in common: 5
Number of columns in df1 but not in df2: 0
Number of columns in df2 but not in df1: 0

Row Summary
-----------

Matched on: 1
Any duplicates on match values: No
Absolute Tolerance: 0
Relative Tolerance: 0
Number of rows in common: 43
Number of rows in df1 but not in df2: 10
Number of rows in df2 but not in df1: 7

Number of rows with some compared columns unequal: 8
Number of rows with all compared columns equal: 35

Column Comparison
-----------------

Number of columns compared with some values unequal: 4
Number of columns compared with all values equal: 1
Total number of values which compare unequal: 13

Columns with Unequal Values or Types
------------------------------------

  Column df1 dtype df2 dtype  # Unequal  Max Diff  # Null Diff
0      2    object    object          3       0.0            1
1      3   float64   float64          4      25.0            1
2      4    object    object          3       0.0            1
3      5    object    object          3       0.0            1

Sample Rows with Unequal Values
-------------------------------

                1     2 (df1)    2 (df2)

...

Sample Rows Only in df1 (First 10 Columns)
------------------------------------------

                 1          2     3                   4                                                5
...


Sample Rows Only in df2 (First 10 Columns)
------------------------------------------

                 1          2    3                   4                              5

 datacompy.Compare()参数:


# Compare 参数:
#   df1: 数据框1
#   df2: 数据框2
#   join_columns: 指定索引的列名,默认“None”,可以传入数组,比如:['ID', 'Name']
#   on_index: 是否要开启索引,开启之后不需要指定 join_columns,默认“False”
#   abs_tol: 绝对公差,默认“0”
#   rel_tal: 相对公差,默认“0”
#   df1_name: 报告中数据框1的名字,默认“df1”
#   df2_name: 报告中数据框2的名字,默认“df2”
#   ignore_spaces: 是否忽略空格,默认“False”
#   ignore_case: 是否忽略大小写,默认“False”

问题:生成df2不在df1的数据,row的索引值与原始表对不上。

解决:如想获取到真正的原表的df2不在df1的行索引。可以反转df1,df2的比较顺序再做一次比较 ,

dd2 = datacompy.Compare(df2, df1, join_columns="1")  # '1' 是列名

然后再打印:

print('---- df2 新增的行-----')
print(dd2.df1_unq_rows) # 依然是用:df1_unq_rows, 按入参顺序。比较结果第一个df2会在datacompy里面的值为df1
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值