![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
NLP
文章平均质量分 69
alicedog
虚位以待的王座诱惑着我
展开
-
【NLP之transformer | Datawhale-9月】Task05:编写BERT模型
1 Tokenization分词-BertTokenizer 好多代码还没理解,先等理解了再来补齐原创 2021-09-21 23:39:20 · 110 阅读 · 0 评论 -
【NLP之transformer | Datawhale-9月】Task03:学习BERT
图解BERT BERT的预训练+微调(finetune): 先在大规模无监督语料上进行预训练; 然后在预训练好的参数基础上增加一个与任务相关的神经网络层; 并在该任务的数据上进行微调训,最终取得很好的效果。 现已成为NLP主流解决方案。 1 BERT句子分类 步骤: 下载无监督预料上的BERT模型,包含:BERT模型配置文件(用来确定Transformer的层数,隐藏层大小),BERT模型参数,BERT词表(BERT所能处理的所有token)。 在BERT模型上增加一个任务相关的神经网络,然后在特定任务监督原创 2021-09-17 22:51:40 · 681 阅读 · 0 评论 -
【NLP之transformer | Datawhale-9月】Task02:学习Attention和Transformer
1 图解Attention 问题:Attention出现的原因是什么? 潜在的答案:基于循环神经网络(RNN)一类的seq2seq模型,在处理长文本时遇到了挑战,而对长文本中不同位置的信息进行Attention有助于提升RNN的模型效果。 (1)名词理解: 1、循环神经网络:循环神经网络(Recurrent Neural Network, RNN)是一类以序列(sequence)数据为输入,在序列的演进方向进行递归且所有节点(循环单元)按链式连接的递归神经网络。 为什么需要循环神经网络: 普通的神经网络都原创 2021-09-16 00:27:58 · 472 阅读 · 0 评论 -
【NLP之transformer | Datawhale-9月】Task01:熟悉规则,学习概览
1 环境配置 1.1 下载项目文件 直接点击Download ZIP即可下载全部内容。 解压后示意图: 1.2 配置本项目本地运行环境 1.2.1 本地Typora打开项目文件夹 使用软件Typora打开Markdown文件,对文件进行预览: 1.2.2 本地环境配置(以Win10为例) 1.打开vscode(已安装汉化包),新建一个Terminal(终端),用于安装一个新的python环境和相应的python依赖包: 2.在Terminal中通过virtualenv软件安装python环境到ven原创 2021-09-14 00:32:54 · 394 阅读 · 0 评论