![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
自然语言处理NLP
文章平均质量分 94
LeeZhao@
AGI硅基生命重塑新世界秩序!!!
展开
-
【精华】关于生成式AI的思考
关于生成式AI的思考原创 2023-09-25 14:22:30 · 445 阅读 · 0 评论 -
【精华】具身智能:人工智能的下一个浪潮
具身智能:人工智能的下一个浪潮原创 2023-09-14 12:16:13 · 561 阅读 · 0 评论 -
【精华】AIGC专栏-Text/Img/Video/audio
AIGC专栏原创 2023-09-08 09:45:12 · 495 阅读 · 0 评论 -
【详解】BiLSTM+CRF模型
1 BiLSTM-CRF模型用途命名实体识别(Named Entity Recognition,NER)定义从一段自然语言文本中找出相关实体,并标注出其位置以及类型。是信息提取, 问答系统, 句法分析, 机器翻译等应用领域的重要基础工具。在自然语言处理技术走向实用化的过程中占有重要地位. 包含行业, 领域专有名词, 如人名, 地名, 公司名, 机构名, 日期, 时间, 疾病名, 症状名, 手术名称, 软件名称等。命名实体识别问题实际上是序列标注问题序列标注问题指的是模型的输原创 2021-07-28 14:41:57 · 32489 阅读 · 11 评论 -
【详解】BERT的3个Embedding的实现原理
本文将阐述BERT中嵌入层的实现细节,包括token embeddings、segment embeddings, 和position embeddings.目录概览1 Token Embeddings作用实现2 Segment Embeddings作用实现3 Position Embeddings作用实现4 合成表示概览下面这幅来自原论文的图清晰地展示了BERT中每一个嵌入层的作用:和大多数NLP深度学习模型一样,BERT将输入文本中的每一个词(token)送入token embedding层从原创 2021-07-09 19:22:02 · 7803 阅读 · 6 评论 -
【详解】模型优化技巧之优化器和学习率调整
目录PyTorch十大优化器1 torch.optim.SGD2 torch.optim.ASGD3 torch.optim.Rprop4 torch.optim.Adagrad5 torch.optim.Adadelta6 torch.optim.RMSprop7 torch.optim.Adam(AMSGrad)8 torch.optim.Adamax9 torch.optim.SparseAdam10 torch.optim.LBFGSPyTorch 六大学习率调整方法1 lr_scheduler.S原创 2021-07-09 18:59:40 · 4214 阅读 · 0 评论 -
【发展史】自然语言处理中的预训练技术发展史—Word Embedding到Bert模型
目录自然语言处理中的预训练技术发展史—Word Embedding到Bert模型1 图像领域的预训练2 Word Embedding考古史3 从Word Embedding到ELMO4 从Word Embedding到GPT5 Bert的诞生自然语言处理中的预训练技术发展史—Word Embedding到Bert模型转载自:https://zhuanlan.zhihu.com/p/49271699Bert受到较高评价的原因:效果太好了,基本刷新了很多NLP的任务的最好性能,有些任务还被刷爆了,这个原创 2021-07-09 18:43:18 · 849 阅读 · 0 评论 -
【详解】NLP之Transformer详解
Transformer详解Attention is all you need 是一篇将 Attention 思想发挥到极致的论文,出自 Google。这篇论文中提出一个全新的模型,叫 Transformer,抛弃了以往深度学习任务里面使用到的 CNN 和 RNN (其实也不完全是,还是用到了一维卷积)。这个模型广泛应用于NLP领域,例如机器翻译,问答系统,文本摘要和语音识别等等方向。参考资料:Transformer 模型的 PyTorch 实现《Attention is All You Need》原创 2021-06-24 17:24:57 · 1440 阅读 · 0 评论 -
【详解】NLP模型:从transformer到albert
NLP模型:从transformer到albert1 Transformer1.1 transformer整体架构1.2 transformer结构原理<1> Inputs是经过padding的输入数据,大小是[batch size, max seq length]。<2> 初始化embedding matrix,通过embedding lookup将Inputs映射成token embedding,大小是[batch size, max seq length, em原创 2021-06-24 17:07:18 · 945 阅读 · 0 评论 -
【详解】NLP之常用预训练模型详解
NLP中流行的预训练模型BERTGPTGPT-2Transformer-XLXLNetXLMRoBERTaDistilBERTALBERTT5XLM-RoBERTa1 BERT及其变体模型名称隐层数张量维度自注意力头数参数量训练语料bert-base-uncased1276812110M小写英文文本bert-large-uncased24102416340M小写英文文本bert-base-cased127681原创 2021-06-24 16:57:57 · 6753 阅读 · 1 评论 -
【详解】NLP之常用数据集详解
GLUE数据集合的介绍:自然语言处理(NLP)主要自然语言理解(NLU)和自然语言生成(NLG)。GLUE(General Language Understanding Evaluation)由纽约大学, 华盛顿大学, Google联合推出, 涵盖不同NLP任务类型, 截止至2020年1月其中包括11个子任务数据集, 成为衡量NLP研究发展的衡量标准.GLUE九项任务涉及到自然语言推断、文本蕴含、情感分析、语义相似等多个任务。像BERT、XLNet、RoBERTa、ERINE、T5等知名模型都会在此基原创 2021-06-24 16:54:09 · 7630 阅读 · 1 评论