qq_41972012的博客

原创 零基础入门天池NLP赛事之——新闻文本分类（6）

基于深度学习的文本分类一、学习目标：了解Transformer的原理和基于预训练语言模型（Bert）的词表示 学会Bert的使用，具体包括pretrain和finetune二、文本表示方法Part4：Transformer原理Transformer是在"Attention is All You Need"中提出的，模型的编码部分是一组编码器的堆叠（论文中依次堆叠六个编码器），模型的解码部分是由相同数量的解码器的堆叠。我们重点关注编码部分。他们结构完全相同，但是并不共享参数，每一个