数据相似度的场景化实现|实操中小微企业中的名单数据

在B端中小微企业的信贷场景中，我们会经常遇到多个企业信息表匹配的情形，也就是根据某个主键字段进行横向匹配，这个主键可以是企业名称、社会信用代码等，而企业名称往往是常见需求。但是。在实际情况中，由于各数据的企业名称并非完全一致，使得数据匹配结果存在一定误差。
现举个例子，图1的信息表1为通过线上OCR技术解析营业执照获取的企业基本信息，字段name代表企业名称，数据整体比较完整；信息表2为通过线下客户经理尽调过程获取的企业经营信息，字段id代表企业名称，由于人工录入存在较多的名称缩写或个别字误写等情况。为了便于针对企业的统一数据信息表来进行分析，金融机构业务方自然希望将表1与表2进行综合，即根据双方共有的企业名称主键，来匹配形成一个大的数据宽表。
​

                                                            图1 企业信息数据表

通过以上场景介绍，我们理解了任务需求，当信息表的数据量比较大时，如果采取人工核对匹配方式虽理论上实施可行，但显然工作效率是很低的。我们希望可以通过代码工具来轻松实现，但由于各表数据的主键名称并不完全统一，其匹配结果也有很大误差。因此，针对以上实际业务场景，我们既希望快速实现各信息表的数据匹配，也希望最终结果的误差尽量最低，这里便可以通过企业名称的文本相似度来进行信息匹配，也是本文介绍的重点。
我们先简单构建2份样本数据信息表，各包含10条企业样本数据与3个字段，具体数据样例分别如图2、图3所示。其中，在企业基本信息表中，name为企业名称，address为企业地址，time为经营年限；在企业尽调信息表中，id为企业名称，number为员工数量，level为盈利等级。
​

                                                              图2 企业基本信息表

​

                                                             图3 企业尽调信息表

对于以上2份信息表，企业数据是完全对应关系，也就是图2企业基本信息表的企业名单，必然与图3企业尽调信息表的企业名单相对应。但是，图2数据表的企业名称name是全称，而图3数据表的企业名称id是简称，若直接通过代码判断两个主键字段（name与id）是否相等来进行匹配，结果必然为空。当然，大家可能认为针对以上样本数据匹配，无需代码人工直接对应便可，这里需要注意的是，本文数据仅为分析样例，解决实际场景问题并非上例如此简单，样本数据量与主键复杂度更为多样化，本文重点是根据业务问题来介绍解决思路。因此我们假设以上样本数据匹配任务通过人工合并效率较低，需要代码工具来快速实现，接下来我们通过具体实践完成任务需求。
企业名称作为以上2份数据的主键，自然需要通过字段name与id来完成样本匹配，原理思想是需要借助于文本的相似度进行多表合并。获取文本数据的相似度有较多实现方法，在Python语言环境中应用较为广泛的有difflib、Levenshtein等，本文则采用difflib库的SequenceMatcher()类函数来完成，其函数实现表达式为difflib.SequenceMatcher(str1,str2).quick_ratio()，其中str1与str2分别代表2个文本数据（或字段），对应本文样例数据则为name与id。函数输出结果为0~1范围的小数值，取值越大说明2个文本数据的相似度越高。
根据以上文本相似度原理，我们对图2与图3的样本数据进行匹配，首先算出每条样本name与id的相似度大小similar，具体实现过程详见知识星球代码详情，由于图2数据表的企业样本需要与图3数据表的每条企业样本进行相似度计算，这样最终得到的样本相似度结果共有10*10=100条，输出的部分结果样例如图5所示。
​

                                                       图5 企业名称相似度分布

由上图得到的数据匹配结果可知，每个企业组合之间均会得到相似度值similar，接下来对similar取最大值，则为当前企业的匹配样本ID，然后匹配相关特征字段，便实现了不同信息表的关联数据。对于图5输出的企业name“北京中娱传媒信息有限公司”，与id包含的10个企业名称的相似度similar最大值为0.5，对应企业名称简称为“中娱传媒”，企业名称匹配成功，实现了我们期望的匹配结果。当企业名称的对应关系确定后，也就是2个数据信息表的主键得以明确，样本的特征字段也随着匹配。
按照以上原理逻辑，针对上文企业的2份样本数据，实现企业名称匹配的实现过程，详见知识星球代码详情，最终输出的匹配数据结果如图7所示。
​

                                                            图7 企业数据匹配结果

从上图结果来看，图2企业基本信息表的企业名单name（全称），与图3企业尽调信息表的企业名单id（简称）均准确实现了对应匹配，这样将分布在不同数据表的企业特征字段融合在同一个表中，解决了在企业名称不统一情形下而实现企业数据匹配的问题，这在实际任务中具有重要的参考意义。
针对上文实例的样本数据表，在实际业务场景中从样本数量、字段名称等方面表现可能更为复杂，或者信息表数量并不局限于2个。例如图8所示，表1~3分别代表企业不同维度的数据，表1与表2关联需要根据企业名称（表1的Name与表2的CustID)，表2与表3关联需要根据企业信用代码（表2的Number与表3的ID）。我们重点需要明确各个企业数据表之间的主键匹配关系，从而两两结合递进得到最终的企业数据宽表结果。
​

                                                                 图8 企业数据表样例

此外，根据文本相似度来匹配数据的方法，除了本文介绍的difflib，还有余弦相似度、TF-IDF、Levenshtein、simtext等较多方式可以选择，在具体实践中可以结合实际情况进行选取，或者通过多种方式对比获取最优结果。综合上文，我们通过简单实例，描述了企业名单匹配的场景实现过程，这对于其他场景的数据匹配需求也有较好的参考价值，因此在实践中可以重点掌握并灵活应用。
为了便于大家对企业名单数据匹配场景的实现与解析的进一步熟悉与理解，本文额外附带了与以上内容同步的python代码与样本数据，供大家参考学习，详情请移至知识星球查看相关内容。
​

…

~原创文章