DataComPy 超级好用的,用于比较两个Pandas DataFrame的程序包

 官方文档 :

DataComPy — datacompy 0.8.2 documentationhttps://capitalone.github.io/datacompy/index.html要求:

这2个DataFrame的列是完全一样,列数与列名。否则会报错:

        KeyError: 'xxxxx_match'

如是列名不一样可以先重命名列名再比较。然后根据列名取出比较的结果,返回的都是DataFrame

df1.columns=[1,2,3,4,5]
df2.columns=[1,2,3,4,5]

dd = datacompy.Compare(df1, df2, join_columns="1")  # '1' 是列名
print(dd.report()) #打印所有比较结果

print('---- 2----')
diff_per = dd.sample_mismatch('2')  # 
print(diff_per)
print('---- 3----')
diff_per1 = dd.sample_mismatch('3')
print(diff_per1)  # 取出列3不相同的数据,返回 dataframe

print('---- 4-----')
diff_per2 = dd.sample_mismatch('4')
print(diff_per)  # 取出不相同的某一列数据,返回 dataframe
print('---- df1 新增-----')
print(dd.df1_unq_rows)
print('---- df2 新增-----')
print(dd.df2_unq_rows)

dd.report() 结果:

DataComPy Comparison
--------------------

DataFrame Summary
-----------------

  DataFrame  Columns  Rows
0       df1        5    53
1       df2        5    50

Column Summary
--------------

Number of columns in common: 5
Number of columns in df1 but not in df2: 0
Number of columns in df2 but not in df1: 0

Row Summary
-----------

Matched on: 1
Any duplicates on match values: No
Absolute Tolerance: 0
Relative Tolerance: 0
Number of rows in common: 43
Number of rows in df1 but not in df2: 10
Number of rows in df2 but not in df1: 7

Number of rows with some compared columns unequal: 8
Number of rows with all compared columns equal: 35

Column Comparison
-----------------

Number of columns compared with some values unequal: 4
Number of columns compared with all values equal: 1
Total number of values which compare unequal: 13

Columns with Unequal Values or Types
------------------------------------

  Column df1 dtype df2 dtype  # Unequal  Max Diff  # Null Diff
0      2    object    object          3       0.0            1
1      3   float64   float64          4      25.0            1
2      4    object    object          3       0.0            1
3      5    object    object          3       0.0            1

Sample Rows with Unequal Values
-------------------------------

                1     2 (df1)    2 (df2)

...

Sample Rows Only in df1 (First 10 Columns)
------------------------------------------

                 1          2     3                   4                                                5
...


Sample Rows Only in df2 (First 10 Columns)
------------------------------------------

                 1          2    3                   4                              5

 datacompy.Compare()参数:


# Compare 参数:
#   df1: 数据框1
#   df2: 数据框2
#   join_columns: 指定索引的列名,默认“None”,可以传入数组,比如:['ID', 'Name']
#   on_index: 是否要开启索引,开启之后不需要指定 join_columns,默认“False”
#   abs_tol: 绝对公差,默认“0”
#   rel_tal: 相对公差,默认“0”
#   df1_name: 报告中数据框1的名字,默认“df1”
#   df2_name: 报告中数据框2的名字,默认“df2”
#   ignore_spaces: 是否忽略空格,默认“False”
#   ignore_case: 是否忽略大小写,默认“False”

问题:生成df2不在df1的数据,row的索引值与原始表对不上。

解决:如想获取到真正的原表的df2不在df1的行索引。可以反转df1,df2的比较顺序再做一次比较 ,

dd2 = datacompy.Compare(df2, df1, join_columns="1")  # '1' 是列名

然后再打印:

print('---- df2 新增的行-----')
print(dd2.df1_unq_rows) # 依然是用:df1_unq_rows, 按入参顺序。比较结果第一个df2会在datacompy里面的值为df1
  • 0
    点赞
  • 11
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
### 回答1: 要比较两个pandas dataframe,可以使用pandas的equals()函数。该函数将比较两个dataframe的每个元素,并返回一个布尔值,表示两个dataframe是否相等。如果两个dataframe相等,则返回True,否则返回False。另外,还可以使用pandascompare()函数来比较两个dataframe的不同之处。该函数将返回一个新的dataframe,其中包含两个dataframe之间的差异。 ### 回答2: Pandas是一种Python的开源数据分析库,包含了各种数据操作的工具,其中比较两个DataFrame的方法也十分方便。 比较两个DataFrame有多种方法,包括使用equals、compare等方法。下面我们来介绍一下这些方法的使用。 1. equals方法 equals方法比较两个DataFrame所有的元素是否相等,返回True或False。可以通过指定参数来控制比较方式,在默认情况下比较排序、列名、数据类型等多方面,如果全部相等则返回True。 使用示例: ```python import pandas as pd df1 = pd.read_csv('data1.csv') df2 = pd.read_csv('data2.csv') print(df1.equals(df2)) #比较df1和df2是否相等,返回True或False ``` 2. DataFrame.compare方法 DataFrame.compare方法可以比较两个DataFrame中相同列名的数据列,返回一个新的DataFrame比较的方式包括行、列、数据类型等多方面。 使用示例: ```python import pandas as pd df1 = pd.read_csv('data1.csv') df2 = pd.read_csv('data2.csv') print(df1.compare(df2)) #比较df1和df2每列数据是否相等,返回一个新的DataFrame ``` 3. merge方法 merge方法可以将两个DataFrame合并成一个新的DataFrame,可以指定合并的列和方式。 使用示例: ```python import pandas as pd df1 = pd.read_csv('data1.csv') df2 = pd.read_csv('data2.csv') merge_df = pd.merge(df1, df2, on=['id'], how='inner') print(merge_df) #将df1和df2合并成一个新的DataFrame ``` 以上就是比较两个DataFrame的方法,通过这些方法可以很方便地比较和合并两个DataFrame。当然,根据实际情况选择合适的方法对于数据分析也非常重要。 ### 回答3: Pandas是一个Python的数据处理库,在数据科学和数据分析领域广泛应用。Pandas中的Dataframe是一种基于行和列进行操作的二维数据结构,类似于电子表格或SQL中的表格。 当我们需要对比两个Dataframe的内容时,可以采取以下两种方式: 1. 使用equals()方法进行对比 equals()方法可以比较两个Dataframe是否相等,并返回一个布尔值。如果两个Dataframe的形状、列名、列的数据类型、列的值都相等,则返回True,否则返回False。例如,我们可以使用以下代码比较两个Dataframe: ```python import pandas as pd df1 = pd.DataFrame({'A':[1,2,3],'B':[4,5,6]}) df2 = pd.DataFrame({'A':[1,2,3],'B':[4,5,6]}) print(df1.equals(df2)) ``` 结果输出为True,说明两个Dataframe相等。 2. 使用compare()方法进行对比 compare()方法可以比较两个Dataframe的差异,并返回一个新的Dataframe。这个新的Dataframe中包含对比后两个Dataframe中列的差异。比较的时候,我们可以指定需要比较的列,也可以使用默认设置比较所有列。 ```python import pandas as pd df1 = pd.DataFrame({'A':[1,2,3],'B':[4,5,6]}) df2 = pd.DataFrame({'A':[1,2,4],'B':[4,5,6]}) diff = df1.compare(df2) print(diff) ``` 输出结果如下: ``` A self other 2 3 4 ``` 这个结果表明,两个Dataframe中,第二列的第三行数据不相等,df1中是3,df2中是4。 在实际应用中,我们可以根据需要选择适当的方法进行对比。如果只需要确定两个Dataframe是否完全相等,使用equals()方法就足够;如果需要了解两个Dataframe中具体的差异,使用compare()方法会更加方便。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值