![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
NLP
文章平均质量分 62
Sophie'sCookingLab
个人学习笔记,方便使用时查找,也希望和各位大佬交流学习心得~~
原理+实践+认知
展开
-
常见的自然语言处理任务
情感分析(sentiment-analysis):对给定的文本分析其情感极性文本生成(text-generation):根据给定的文本进行生成命名实体识别(ner):标记句子中的实体阅读理解(question-answering):给定上下文与问题,从上下文中抽取答案掩码填充(fill-mask):填充给定文本中的掩码词文本摘要(summarization):生成一段长文本的摘要机器翻译(translation):将文本翻译成另一种语言特征提取(feature-extraction):生成给原创 2024-06-07 20:38:46 · 98 阅读 · 0 评论 -
simCSE文本语义向量表示(2)-有监督微调
有监督微调。原创 2024-06-06 17:15:51 · 332 阅读 · 0 评论 -
nltk安装与使用
自然语言处理工具包,在NLP领域中,最常使用的一个Python库。原创 2024-06-04 15:21:35 · 275 阅读 · 0 评论 -
文本纠错详解
3、纠错模型优劣评价方法。原创 2024-06-03 12:35:34 · 90 阅读 · 0 评论 -
simCSE文本语义向量表示(1)-使用transformers API
"NLP算法工程师"和"自然语言处理算法工程师"之间的相似度是0.8721,"NLP算法工程师"和"计算机视觉算法工程师"之间的相似度是0.8471,"NLP算法工程师"和"大模型算法工程师"之间的相似度是0.8261,"NLP算法工程师"和"JAVA开发"之间的相似度是 0.7557,"NLP算法工程师"和"平面设计师"之间的相似度是0.6945,我保存在文件夹:local-simcse-model。安装sentence_transformers。使用代码下载,我这边一直报错,提醒网络不好。原创 2024-05-30 19:49:06 · 344 阅读 · 0 评论 -
百度ERNIE系列预训练语言模型浅析(4)-总结篇
(1)相同点:采用连续学习采用了多个语义层级的预训练任务(2)不同点:ERNIE 3.0 Transformer-XL Encoder(自回归+自编码), ERNIE 2.0 Transformer Encoder(自编码)预训练任务的细微差别,ERNIE3.0里增加的知识图谱。原创 2024-05-29 17:16:49 · 980 阅读 · 0 评论 -
百度ERNIE系列预训练语言模型浅析(3)-ERNIE3.0
关键词:百亿参数大模型 \Transformer-XL\Knowledge graph预训练中加入知识图谱三元组,模型基本单元从2.0的transformer换成transformer-XL百度文心可以体验模型效果:https://wenxin.baidu.com/wenxin/ernie。原创 2024-05-29 17:14:36 · 1378 阅读 · 0 评论 -
百度ERNIE系列预训练语言模型浅析(2)-ERNIE2.0
Token-Document Relation Prediction:预测句子中的词是否出现在了segment原始文档中,约等于预测token是否为关键词。以前的模型只能学到简单的共现信息,其他有价值的信息,比如lexical\syntactic\semantic information都没有被提取出来。概括:加入更多的预训练任务,为了有效的训练采用了连续训练的方法。上游的预训练任务和下游特定任务的Fine-tuning的闭环。连续的多任务学习能记住之前学习到的信息。原创 2024-05-29 17:13:28 · 452 阅读 · 0 评论 -
百度ERNIE系列预训练语言模型浅析(1)-ERNIE
(写在文章前,我是一个对NLP感兴趣的小白,这篇文章是阅读论文时的粗略笔记~~)百度的ERNIE系列模型,其没有对网络模型本身进行结构上的大改动,而是着重于如何构造合理的预训练任务,以及如何更好地利用数据构造无监督的训练集。本文主要从各模型的原理、优点、缺点、解决了什么问题等方面来讲述百度ERNIE1.0\ ERNIE2.0\ ERNIE3.0的进化历程,并对比了模型之间的区别与联系。个人理解浅显,希望与读者交流。原创 2024-04-14 23:53:40 · 1276 阅读 · 1 评论 -
Transformer详解(8)-基于transformer的英文到中文翻译模型
是“转录和翻译演讲网络清单”的缩写,是 TED 演讲多语言转录的现成版本,可用于研究目的。1、数据使用TED,数据清洗。2、英文中文翻译模型搭建。原创 2024-05-29 13:52:50 · 173 阅读 · 0 评论 -
自然语言处理学习中英文翻译语料库
描述:TED 讲座的翻译语料库包含多语言版本的 TED 讲座字幕,可以用于机器翻译和其他 NLP 任务。描述:AI Challenger 提供的中英文翻译比赛数据集,包含多领域的双语文本。描述:WMT 每年都会发布用于机器翻译比赛的双语语料库,涵盖多种语言对,包括中英文。描述:UM-Corpus 是澳门大学提供的中英双语语料库,包含了多领域的文本。描述:中国计算机学会机器翻译评测(CCMT)提供的平行语料,用于机器翻译研究。描述:Tatoeba 是一个开放的多语言句子库,包含大量的中英文对照句子。原创 2024-05-29 11:04:19 · 462 阅读 · 0 评论 -
自然语言处理的进化
关于不同的语言模型如何选择,我们有了大模型,以前的这些语言模型还有用吗?我们的目标是制造一个为人们服务的产品,机器学习和人工智能只是达到目的的手段。重要的是很好的解决问题,而不是使用哪种方法。在大多数情况下,快速而不完美、不规范、不“高大上”的解决方案反而会让我们快速步入正轨。当简单的匹配就可以解决问题的时候,是不需要训练深度神经网络的。其实今天的快速而不完美,正是建立在昨天的缓慢和精确上的。如今,即使你认为你做出了完美的解决方案,从未来的维度看,它依然是快速而不完美的。原创 2024-05-22 11:26:15 · 290 阅读 · 0 评论 -
命名实体识别模型FLAT介绍
在「Inc.」前的单词更可能的实体类型是「ORG」,在「in」后的单词更可能为时间或地点。ACL2020中的 Simplify the Usage of Lexicon in Chinese NER[1] 就属于这一范式,仅仅在embedding层融合词汇信息,对于词汇信息的引入更加简单有效,采取静态加权的方法可以提前离线计算。设计相应结构以融入词汇信息 Lattice LSTM 开篇之作,设计兼容的LSTM将词汇信息引入中文NER任务 推断效率低,无法捕捉长距离依赖,存在一定的信息损失问题。原创 2024-04-11 17:50:18 · 790 阅读 · 0 评论 -
NLP算法岗面经总结
NLP算法岗面经总结手写代码部分刷leecode,可以关注一下“帅地玩编程”公众号,他总结的高效刷题方法很实用。个人建议刷题不要盲目的追求量,要做到经典题反复刷。我刚开始刷题一天两道就觉得很痛苦,坚持一个月就会有质变,加油。快排的原理?可以写一下吗?什么时候算法复杂度讲到O(n^2)?快排的优化优化方法有了解吗?快速排序的4种优化十大经典排序算法(动图演示)了解 mysql的index机制吗?不使用递归的方法遍历二叉树?机器学习SVM:原理、几何距离、函数距离、核函数、KKT条件?原创 2020-08-23 21:28:48 · 758 阅读 · 0 评论 -
Linux下bert-as-service 环境搭建
Linux下bert-as-server 环境搭建python版本大于3.6tensorflow版本大于1.10.01. Anaconda3安装从官网下载Anaconda3 linux版本安装anaconda3bash Anaconda3-5.2.0-Linux-x86_64.sh创建虚拟环境,取名叫python36,方便多版本python管理conda create -n python36 python=3.6激活环境source activate python362. ten原创 2020-06-19 09:13:36 · 1207 阅读 · 0 评论