百度DDParser的依存分析

# 安装

  ✳安装前没注意，安装了paddlepaddle最新版2.0.1，结果引发了一些错误，好在不是严重的问题，修改后依旧可以使用

  1. 安装百度深度学习框架paddlepaddle飞桨（版本2.0.1

python -m pip install paddlepaddle -i https://mirror.baidu.com/pypi/simple

  2. 安装DDParser（版本0.1.2

pip install ddparser

  3.  报错 [链接]

RuntimeError: paddle-ernie requires paddle 1.7+, got 2.0.1

  4. 打开C:\Anaconda3\lib\site-packages\ddparser\ernie\__init__.py，修改如下

'''原来'''
# paddle_version = [int(i) for i in paddle.__version__.split('.')]
# if paddle_version[1] < 7:

'''修改后'''
paddle_version = [i for i in paddle.__version__.split('.')]
if 10 * int(paddle_version[0]) +int(paddle_version[1]) < 17:

  5. 初次运行会下载模型，放置在C:\Anaconda3\Lib\site-packages\ddparser\model_files

  6. 运行 ddp.parse("百度是一家高科技公司") 报错

AttributeError: module 'paddle.fluid.layers' has no attribute 'index_select'

7. 报错原因：从1.x版本升级为2.0版本，API有变动 [飞桨框架API映射表]

    打开C:\Anaconda3\lib\site-packages\ddparser\parser\nets\bilstm.py，修改成变动后的API（注：dim参数名改为axis

8. 同样的问题还包括

C:\Anaconda3\lib\site-packages\ddparser\parser\nets\nn.py

AttributeError: module 'paddle.fluid.layers' has no attribute 'arange'

# 说明

  分词器：百度词法分析工具 LAC（实现中文分词、词性标注、专名识别等功能），支持使用其他工具的分词结果进行依存分析

  附录1 pos：词性和专名类别标签集合

  附录2 dep：依存句法分析标注关系集合（DuCTB1.0是百度构建的中文依存句法树库

# 操作

from ddparser import DDParser

ddp = DDParser()

results = ddp.parse("清华大学研究核能的教授有哪些")

>>> [{'word': ['清华大学', '研究', '核能', '的', '教授', '有', '哪些'],   'head': [5, 5, 2, 2, 6, 0, 6],  'deprel': ['ATT', 'ATT', 'VOB', 'MT', 'SBV', 'HED', 'VOB']}]

    为了将结果可视化，这里用DataFrame输出，数据格式按照 CoNLL-X format（注：CoNLL-U是CoNLL-X的扩展版

CoNLL-U 格式

① CoNLL 格式是一种偏向于“机读"的形式。在CONLL格式中，每个词语占一行，无值列用下划线'_'代替，列的分隔符为制表符'\t'，行的分隔符为换行符'\n'；句子与句子之间用空行分隔。

② GitHub Issue：ddp.parse的结果可以直接输出CoNLL-X格式吗 

③ 另外可以试一下paddlehub ，里面对ddparser做了封装，提供可视化表示。

col = ('FROM','LEMMA','CPOSTAG','POSTAG','FEATS','HEAD','DEPREL','PROB','PDEPREL')
row = []

for res in results:
    for i in range(len(res['word'])):
        data = {"FROM":res['word'][i], "LEMMA":res['word'][i], "HEAD":res['head'][i], "DEPREL":res['deprel'][i]}
        row.append(data)

df = pd.DataFrame(row,columns=col)
df.fillna('_',inplace = True) # 缺省值
df.index = df.index + 1  # 把索引号加1视为ID
print(df)

    Windows可以用DependencyViewer加载CoNLL格式的txt文件，其他可以用web端的conllu.js

    📍 UD提供的可视化工具：Visualisation 

    📍 HanLP进一步封装：Dependency Tree Visualization

# 扩展

    在DDParser()中指定参数prob和use_pos，使用prob可以指定输出概率，使用use_pos可以输出词性标签

from ddparser import DDParser
ddp = DDParser(prob=True, use_pos=True)
ddp.parse(["百度是一家高科技公司"])
>>> [{'word': ['百度', '是', '一家', '高科技', '公司'], 'postag': ['ORG', 'v', 'm', 'n', 'n'], 'head': [2, 0, 5, 5, 2], 'deprel': ['SBV', 'HED', 'ATT', 'ATT', 'VOB'], 'prob': [1.0, 1.0, 1.0, 1.0, 1.0]}]

     在class DDParser中指定参数buckets=True可以在数据集长度不均时处理速度更快

from ddparser import DDParser
ddp = DDParser(buckets=True)

    在已分词情况下（比如希望使用其他工具的分词结果），通过调用parse_seg()方法，可以进行依存句法树分析

ddp = DDParser()
ddp.parse_seg([['百', '度', '是', '一家', '高科技', '公司'], ['他', '送', ' 了', '一本', '书']])
>>> [{'word': ['百', '度', '是', '一家', '高科技', '公司'], 'head': [2, 3, 0, 6, 6, 3], 'deprel': ['ATT', 'SBV', 'HED', 'ATT', 'ATT', 'VOB']}, {'word': ['他', '送', '了', '一本', '书'], 'head': [2, 0, 2, 5, 2], 'deprel': ['SBV', 'HED', 'MT', 'ATT', 'VOB']}]

    更多请查看 GitHub BaiDu DDParser

# 工具学习系列

• 哈工大LTP的依存分析
• 百度DDParser的依存分析
• HanLP的依存分析

• Spacy的依存分析

	词性标注集pos/tag	依存句法分析标注集dep	语义依存分析标注集sdp
LTP	863词性标注集	BH-DEP	BH-SDP
SpaCy	基于Google Universal POS Tag set扩展	采用了 ClearNLP 的依存分析标签	-
DDParser	百度构建的标注集	DuCTB	-
HanLP	CTB、PKU、863、UD	SD、UD	SemEval16、DM、PAS、PSD
stanford corenlp	Penn Chinese Treebank Tag Set（CTB）	没找到说明采用的标注集 [链接]	-
jieba	和 ictclas 兼容的标记法	不支持	不支持

# 参考

    2020.11-依存句法树baidu-DDParser工具使用

# 其他

1）pandas似乎要在ddparser前导入，否则会报错

import pandas as pd
from ddparser import DDParser

BUG0：AttributeError: type object ‘Callable‘ has no attribute ‘_abc_registry‘  [解决方案]

BUG1：‘WindowsPath‘ object has no attribute ‘read_text‘ [解决方案]

2）百度LAC分词

from LAC import LAC
lac = LAC(mode='seg') # mode选项：lac(默认)与seg，lac包含词性 

seg_result = lac.run(text)