Python—匹配字段

1. 「概述」

在日常开发中，经常需要对数据中的某些字段进行匹配，但这些字段可能存在微小的差异。例如，同一个招聘岗位的数据中，省份字段可能有“广西”、“广西壮族自治区”和“广西省”等不同的写法。为了处理这些情况，文章介绍了一个名为FuzzyWuzzy的模糊字符串匹配工具包。

2. 「FuzzyWuzzy库介绍」

FuzzyWuzzy是一个基于Levenshtein Distance算法的模糊字符串匹配工具包。该算法计算两个序列之间的差异，即从一个字符串转换到另一个字符串所需的最少编辑操作次数。编辑操作可以是替换、插入或删除字符。编辑距离越小，两个字符串的相似度越大。

3. 「fuzz模块」

fuzz模块提供了四种匹配方法：

• 简单匹配（Ratio）

• 非完全匹配（Partial Ratio）

• 忽略顺序匹配（Token Sort Ratio）

• 去重子集匹配（Token Set Ratio）

python

from fuzzywuzzy import fuzz      # 示例代码及结果   print(fuzz.ratio("河南省", "河南省"))  # 结果: 100   print(fuzz.partial_ratio("河南省", "河南省"))  
# 结果: 100   print(fuzz.token_sort_ratio("西藏自治区", "自治区西藏")) 
 # 结果: 100   print(fuzz.token_set_ratio("西藏西藏自治区", "自治区西藏"))  # 结果: 100   

4. 「process模块」

process模块用于处理有限的备选答案，返回模糊匹配的字符串和相似度。主要方法有：

• extract：提取多条数据

• extractOne：提取一条数据

python

from fuzzywuzzy import process      # 示例代码及结果   choices = ["河南省", "郑州市", "湖北省", "武汉市"]   print(process.extract("郑州", choices, limit=2))  # 结果: [('郑州市', 90), ('河南省', 0)]   print(process.extractOne("郑州", choices))  # 结果: ('郑州市', 90)   

5. 「实战应用」

文章中还展示了两个实战应用的例子，分别是公司名称字段的模糊匹配和省市字段的模糊匹配。

python

# 模糊匹配函数   def fuzzy_merge(df_1, df_2, key1, key2, threshold=90, limit=2):      
 s = df_2[key2].tolist()       m = df_1[key1].apply(lambda x: process.extract(x, s, limit=limit))   
     df_1['matches'] = m
     m2 = df_1['matches'].apply(lambda x: [i[0] for i in x if i[1] >= threshold][0] if len([i[0] for i in x if i[1] >= threshold]) > 0 else '')       df_1['matches'] = m2       returndf_1 
           # 示例代码及结果   # 假设data和company是两个DataFrame，这里只是为了展示函数的使用方法   # df = fuzzy_merge(data, company, '公司名称', '公司名称', threshold=90)   # print(df)   

6. 「总结」

FuzzyWuzzy是一个强大的模糊字符串匹配工具，它可以帮助开发者轻松处理字符串匹配问题，特别是在数据清洗和预处理时。

---

内容没有结果和图，仅个人学习使用。

本文转自 https://mp.weixin.qq.com/s/4-kTrdIsUg2WH4wGjTlXOw，如有侵权，请联系删除。

---------------------------END---------------------------

题外话

感兴趣的小伙伴，赠送全套Python学习资料，包含面试题、简历资料等具体看下方。

👉CSDN大礼包🎁：全网最全《Python学习资料》免费赠送🆓！（安全链接，放心点击）

一、Python所有方向的学习路线

Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照下面的知识点去找对应的学习资源，保证自己学得较为全面。

二、Python必备开发工具

工具都帮大家整理好了，安装就可直接上手！

三、最新Python学习笔记

当我学到一定基础，有自己的理解能力的时候，会去阅读一些前辈整理的书籍或者手写的笔记资料，这些笔记详细记载了他们对一些技术点的理解，这些理解是比较独到，可以学到不一样的思路。

四、Python视频合集

观看全面零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

五、实战案例

纸上得来终觉浅，要学会跟着视频一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

六、面试宝典

简历模板

👉CSDN大礼包🎁：全网最全《Python学习资料》免费赠送🆓！（安全链接，放心点击）

若有侵权，请联系删除