参考博客:Python做数据匹配
最近做了一个数据匹配的小任务,记录一下实现的过程以便以后用到的时候能够查看
简单来说,数据匹配就是对数据库做join操作,将几个数据库做inner join
基本的操作学习可以参考上面的博客链接,对Pandas这个第三方库有很好的介绍。更加详细的资料可以参考Pandas中文文档
下面记录一下项目的实现过程
任务需要:
总共要处理三份数据,就是连接三份数据。
papers(以dta格式存储),mag(以txt形式存储在文件中),grid(以dta格式存储)
papers就是paper的数据包括paper的一系列的信息,mag里有paper和对应org的信息,而grid就是org的信息。
要进行匹配的部分就是papers的title与mag里的org,最后与grid里的name匹配,最后的得到的要是papers连接上grid的信息。
实现过程:
第一步就是读取数据:
import pandas as pd
import json #引入json是为了处理txt里的数据
#读取dta,csv格式的数据非常简单读取txt里的数据需要对读入的数据进行处理
df = pd.read_csv("xx") #读入csv格式的数据
df = pd.read_stata("xx") #读入dta格式的数据
#新建DataFrame
df = pd.DataFrame(columns = [], index = [])
#读取txt的数据
#因为数据特别大,用readlines会出错
for line in open("xx", "r", encoding="utf-8"):
data = json.loads(line) #读入数据然后进行一系列处理
...
...
#然后要合并几个封装数据的DataFrame
df = pd.concat(l) #l为一个List
#数据清洗
df = df.dropna() #去除带有空值的行
df = df.dropna(subset = []) #将范围限定在subset里
数据读入并处理完成后要做匹配
#将df_left与df_right做inner join,on指定了匹配的字段
df = pd.merge(df_left, df_right, on='xx', how='inner')
至此匹配完成
因为数据处理的需要用到了fuzzywuzzy这个包做模糊匹配
记录一下fuzzywuzzy的使用
要使用模糊匹配的话要导入两个包
from fuzzywuzzy import fuzz
from fuzzywuzzy import process
几种比较方式:
fuzz.token_sort_ratio(x, y) #忽略顺序进行比较
fuzz.token_set_ratio(x, y) #忽略重复进行比较
fuzz.token_partial_ratio(x, y) #部分比较
模糊匹配:
#xx为需要进行匹配的字段
possible = process.extract("xx", choice, limit=10, scorer=fuzz.token_sort_ratio)
#将xx与choice里的元素进行比较,选出匹配最接近的10个,scorer是排序器