![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
NLP相关知识
面试准备的NLP相关知识
dabingsun
这个作者很懒,什么都没留下…
展开
-
fasttext
论文:网络结构:目的:微调:代码:总结:原创 2020-08-07 21:32:19 · 212 阅读 · 0 评论 -
实体抽取、关系抽取和事件抽取概念
目录关系抽取关系抽取方法事件抽取及方法参考:读书笔记:关系抽取和事件抽取关系抽取定义:自动识别实体之间具有的某种语义关系。根据参与实体的多少可以分为二元关系抽取(两个实体)和多元关系抽取(三个及以上实体)。通过关注两个实体间的语义关系,可以得到(arg1, relation, arg2)三元组,其中arg1和arg2表示两个实体,relation表示实体间的语义关系。(...原创 2020-03-23 09:31:46 · 9535 阅读 · 1 评论 -
QA问答模型实践
任务描述给定中文问答对[(question, answer),标签(label)], 通过构建模型,提升模型的准确率。数据分析数据清洗、分词后,进行统计,如下图可以得到:问题经过处理后最大的词数为37,最小2,平均10。答案经过处理后最大的词数为16892,最小1,平均20。经过统计数据中labels, 正例与负例比例为3:97,数据中等偏严重的数据失衡,但是训练数据有10万个,...原创 2020-03-06 19:48:58 · 2907 阅读 · 0 评论 -
Qoura 文本相似度检测(分类模型)
任务描述给定英文句子对[(question1, question1),标签(label)], 通过构建模型,提升模型的准确率。数据分析(统计)数据清洗、分词后,进行统计。文中正反对比为2:3。不是很失衡模型选择问题相似性任务,首次选用基于孪生Bi-LSTM+cos+对比损失函数,最终train_acc = 85, val_acc=75。loss变化不规则,放弃使用。评估为75.6...原创 2020-03-06 19:47:57 · 389 阅读 · 0 评论 -
计算相似度
https://blog.csdn.net/fu6543210/article/details/90347852原创 2020-02-28 10:41:06 · 156 阅读 · 0 评论 -
NLP基本任务
目录一、数据处理(理解)分词字符串匹配统计的分词机器学习的分词参考:HMM与CRF一、数据处理(理解)分词中文分词,是将汉字序列按照词组转化为词的序列。当前分词的主要技术包括基于字符串匹配、基于统计的分词和基于机器学习的分词字符串匹配基于已有的词典(充分大),遍历当前文本,匹配出现在字典中的词并依此对文本序列进行分词。具体的匹配策略包括...原创 2019-11-25 15:43:51 · 429 阅读 · 0 评论 -
数据增强之回译+EDA
目录数据增强回译EDA参考: EDA_Github 数据增强对训练数据的一种数据另类采样方式,目的是加强样本总体的数量和质量,也可以认为加入了噪音,目的是防止模型过拟合和提升模型的性能。在NLP领域,数据增强的研究较少,目前较稳定的和常使用的两种方式是回译和EDA(Easiest Data Augmentation)。回译使用翻译的方式,对源文本进...原创 2019-11-25 09:11:45 · 2752 阅读 · 0 评论 -
使用Bert进行文本分类(立场检测)
主要流程:载入数据-->进行分词(单个词)-->根据词典转换为编码-->加载BERT预训练模型-->微调出结果。原创 2019-11-20 21:27:28 · 1561 阅读 · 0 评论