0、补充链接:
一、QA问答系统
DeepLearning:
① seq2seq + attention
② transformer、bert
二、语义分析、语义匹配
1、基于规则模板:
① booststraping ------- 召回率和精确率都不错,需要人工干涉,是一种成熟的技术
https://blog.csdn.net/qq_16555103/article/details/103792301 -----信息抽取(booststraping、深度学习..)
2、依存句法分析、语义角色标注 ------- 提取三元组,精确率较高,因此比较适合做比较狭窄的领域,比如:买票查询
3、基于机器学习的算法:
① doc2vec、LDA、LSA、word2vec
三、机器翻译
DeepLearning:
① seq2seq + attention
② transformer、bert
四、情感分析
三种方式: 情感分析
五、意图识别
1、基于规则模板
① 规则模板解析 (先找领域 命中模板 意图识别 与交互完善信息;eg:从...到...的...票;需要交互完善‘时间’信息 )
2、DeepLearning:
① rnn(LSTM) + attention
② bert 网络
六、命名实体识别 NER
1、机器学习:
① bioes ------ HMM/CRF
2、deeplearning:
① LSTM + CRF ----- 理解:LSTM 用于提取句子的特征,用 CRF 的viterbi算法来代替softmax作为loss层。
原因如下:softmax分类时不能考虑到上下文的关系进行分类(尽管LSTM提取特征考虑序
列的时序信息),而CRF的viterbi算法预测分类时 可以考虑相邻上下的关联。
② transformer 、 bert
=====================================================================================================
实体命名识别常见的实体三大类、七小类:
三大类:
实体类、时间类、数字类
七小类
人名、地名、机构名、时间 ...
1、NER系统识别内容:
① 命名实体:根据业务某个特殊领域的专业名词
② 实体修饰:实体修饰虽说不是名词,但是NER系统也要抽取出来。例如:程度词、否定词...
例:我 好像有一点 头痛。
如果是医疗实体命名识别,其中修饰词:‘好像有一点’ 提取是至关重要的,它大程度会影响后续模型判别结果。
③ 实体关系:
七、文本分类
1、短文本(50 单词 以内)
1.1 机器学习:
① 特征工程 + KNN、SVM、LR、贝叶斯(多项式朴素贝叶斯)
② doc2vec + 机器学习分类算法
1.2 深度学习:
① LSTM/双向LSTM/GRU 分类 --------- 模型优化: LSTM + attention
② transformer、bert
2、长文本(大于 50单词)
DeepLearning:
① bert 分类 bert网络可以解决 512个时刻的序列
② textCNN + LSTM