自然语言处理的基本概念--结合spacy软件的学习

基本概念

• doc: 表示document的缩写，可以结构化地读取文本相关的信息，并且不会产生丢失

doc = nlp(text)
for token in doc:
	print(token.text)

• token表示文本中的字符，比如一个词或者一个标点符号。要读取某个位置的词符，可以直接使用doc的索引；token中也会包含很多属性，比如.text就会输出对应的原文；

doc = nlp(text)
token = doc[1]
print(token.text)

• span实例是文本中包含了一个或者更多字符的一段截取，仅仅是Doc的一个视图不包含实际的数据；

doc = nlp(text)
span = doc[1:3]
print(span.text)

统计模型

介绍：从语境中抽取到的语言学属性，包括：词性标注、依存关系解析、命名实体识别；
从标注过的文本中训练而来；
可以使用更多的标注数据来更新模型，优化抽取结果；
模型包括：二进制权重(用于进行属性预测)，词汇表和元信息(配置spacy语言类以及相应的处理流程组件)；
在不了解属性的时候，可以使用spacy.explain("对应属性名称")来查找对应的属性含义；

基于规则的匹配抽取

基于Doc对象而不是直接在字符串上进行匹配&#