分词
应用python中nltk包分词
首先在找到国际G(物理领域)的所有专利,最终得到6000多条专利数据。接下来应用python中nltk包对专利发明人进行分词
import pandas as pd
from nltk import word_tokenize
#将编码utf-8改成gbk
data=pd.read_csv("Desktop\\python_work\\diming_data.csv",encoding='gbk')
txt=data['INVT']#工作簿
print("开始")
print("分词---------------------")
words1=[]
for i in txt:
words = word_tokenize(str(i))
words1.insert(0,words)
cutpersons=pd.DataFrame({
'cut_persons':words1})
cutpersons
Apriori
(1)计算支持度大于0.002的所有专利发明人,即寻找在物理领域申请专利12项以上的发明人,并认为其为该领域的重要发明人
from numpy import *
# 构造数据
def loadSetData(Data):
return Data
# 将所有元素转换为frozenset型字典,存放到列表中
def createC1(dataSet):
C1 = []
for t in dataSet:
for item in t:
if not [item] in C1:
C1.append([item])
C1.sort()
# 使用frozenset是为了后面可以将这些值作为字典的键
return list(map(frozenset, C1)) # frozenset一种不可变的集合,set可变集合
# 过滤掉不符合最小支持度0.08的集合
# 返回 频繁项集列表retList 所有元素的支持度字典
def scanD(D, Ck, minS):
ssCnt =