知识提取
知识提取是要解决结构化数据生成的问题。但是广义上讲,知识提取是数据质量提升中的一环,各种提升数据质量的方法,都可以视为某种知识提取。学术上一般是用自然语言处理的方法,但在实践中通常是利用规则。
我们要熟悉的概念和工具有 (假设大家已经熟悉了Python
)
正则表达式
:正则表达式是字符串处理的基本功。常用工具re
.数据爬取、数据清洗、实体提取、关系提取,都离不开regex。中文分词和词性标注
:分词也是后续处理的基础。常用工具jieba
中文包.分词做得好,核心秘密在词库,算法的影响反而不太大。分词是会出错的。不过有些场合(比如检索排序),只要错误是一贯的,影响也不是太大。分词后面可以用规则来弥补。词性(Part of Speech, POS)就是中学大家学过的动词、名词、形容词等等的词的分类。一般的分词工具都会有词性标注的选项。命名实体识别
:用nltk
调用Stanford NLP
包
正则表达式
这里我们可以使用Python
的re
包(re – Regular Expressions)进行正则匹配
>>> import re
# 利用match方法匹配,如果匹配成功,返回一个Match对象,否则返回None
>>> re.match(r'^\d{3}\-\d{3,8}$', '010-12345')
<_sre.SRE_Match object at 0x1026e18b8>
复制代码
当我们在Python
中使用正则表达式时,re
模块内部会干两件事情: 1.编译正则表达式,如果正则表达式的字符串本身不合法,会报错; 2.用编译后的正则表达式去匹配字符串。 如果一个正则表达式要重复使用几千次,出于效率的考虑,我们可以预编译该正则表达式,接下来重复使用时就不需要编译这个步骤了,直接匹配:
>>> import re
# 编译:
>>> re_telephone = re.compile(r'^(\d{3})-(\d{3,8})$')
# 使用:
>>> re_telephone.match('010-12345').groups()
('010', '12345')
>>> re_telephone.match('010-8086').groups()
('010', '8086')
# 匹配文本中所有email地址
mail_reg = re.compile(
u'''
((((e-)?mail|(e|E-)?MAIL|(e|E-)?Mail)|邮箱){1}(:|-|:|\ )*)?
(([a-zA-Z0-9_\-\.]+)@([a-zA-Z0-9_\-\.]+)\.([a-zA-Z]{2,5}){1,25})
''', re.X
)
mail = mail_reg.findall(each_line.encode('utf-8').decode('utf-8'))
复制代码
更多方法见
re官方文档 或者 Ubuntu上的Wiki ^_^
中文分词和词性标注
我们可以用jieba
中文分词包进行分词和标注,本文档主要讲jieba使用,另外还有PyNLPIR 提供 NLPIR/ICTCLAS汉语分词的Python接口,看这个教程 pynlpir.readthedocs.io/en/latest/t… ,中文词性标记集 github.com/memect/kg-b…
特点
-
支持三种分词模式:
精确模式
,试图将句子最精确地切开,适合文本分析;全模式
,把句子中所有的可以成词的词语都扫描出来, 速度非常快,但是不能解决歧义;搜索引擎模式
,在精确模式的基础上,对长词再次切分,提高召回率,适合用于搜索引擎分词。
-
支持繁体分词
-
支持自定义词典
安装说明
代码对 Python 2/3 均兼容
- 全自动安装:
easy_install jieba
或者pip install jieba
/pip3 install jieba
- 半自动安装:先下载 pypi.python.org/pypi/jieba/ ,解压后运行
python setup.py install
- 通过
import jieba
来引用
算法
- 基于前缀词典实现高效的词图扫描,生成句子中汉字所有可能成词情况所构成的有向无环图 (DAG)
- 采用了动态规划查找最大概率路径, 找出基于词频的最大切分组合
- 对于未登录词,采用了基于汉字成词能力的 HMM 模型,使用了 Viterbi 算法
主要功能
1. 分词
jieba.cut
方法接受三个输入参数: 需要分词的字符串;cut_all 参数用来控制是否采用全模式;HMM 参数用来控制是否使用 HMM 模型jieba.cut_for_search
方法接受两个参数:需要分词的字符串;是否使用 HMM 模型。该方法适合用于搜索引擎构建倒排索引的分词,粒度比较细- 待分词的字符串可以是 unicode 或 UTF-8 字符串、GBK 字符串。注意:不建议直接输入 GBK 字符串,可能无法预料地错误解码成 UTF-8
jieb