![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
自然语言处理
christianzhang93
这个作者很懒,什么都没留下…
展开
-
零基础入门NLP - 新闻文本分类-Task6:基于深度学习的文本分类3
零基础入门NLP - 新闻文本分类-Task6:基于深度学习的文本分类3 学习目标 了解了解Transformer的原理和基于预训练语言模型(Bert)的词表示 学会Bert的使用,具体包括pretrain和finetune Transformer原理 Transformer是在"Attention is All You Need"中提出的,模型的编码部分是一组编码器的堆叠(论文中依次堆叠六个编码器),模型的解码部分是由相同数量的解码器的堆叠。 我们重点关注编码部分。他们结构完全相同,但是并不共享参数,每一原创 2020-08-04 23:16:25 · 160 阅读 · 0 评论 -
零基础入门NLP - 新闻文本分类-Task5:基于深度学习的文本分类
零基础入门NLP - 新闻文本分类-Task5:基于深度学习的文本分类2 该任务是用Word2Vec进行预处理,然后用TextCNN和TextRNN进行分类。TextCNN是利用卷积神经网络进行文本文类,TextCNN是用循环神经网络进行文本分类。 1.Word2Vec 文本是一类非结构化数据,文本表示模型有词袋模型(Bag of Words)、主题模型(Topic Model)、词嵌入模型(Word Embedding)。 词嵌入是一类将词向量化的模型的统称,核心思想是将每个词都映射成低维空间上的一个稠密原创 2020-08-02 22:50:21 · 358 阅读 · 0 评论 -
零基础入门NLP - 新闻文本分类-Task4:基于深度学习的文本分类1
目录Task4:基于深度学习的文本分类1目标回顾FastText官方开源的FastTex使用:如何使用验证集调参 Task4:基于深度学习的文本分类1 与传统机器学习不同,深度学习既提供特征提取功能,也可以完成分类的功能。从本章开始我们将学习如何使用深度学习来完成文本表示。 目标 学会fasttext 的使用和基础原理 学会使用验证集进行调参 回顾 上一章节我们了解了sklearn的文本分类方法 但是我们发现sklearn 的方法消耗时间长 而且没有考虑词语之间的关系 只是进行统计 FastText Fas原创 2020-07-27 21:37:41 · 163 阅读 · 0 评论 -
零基础入门NLP - 新闻文本分类-Task2: 数据读取与数据分析
目录Task2 数据读取与数据分析1. 学习目标2. 数据读取3. 数据分析3.1 句子长度分析3.2 新闻类别分布3.3 字符分布统计4. 数据分析的结论 Task2 数据读取与数据分析 本章主要内容为数据读取和数据分析,具体使用Pandas库完成数据读取操作,并对赛题数据进行分析构成。 1. 学习目标 学习使用Pandas读取赛题数据 分析赛题数据的分布规律 2. 数据读取 赛题数据虽然是文本数据,每个新闻是不定长的,但任然使用csv格式进行存储。因此可以直接用Pandas完成数据读取的操作。 im原创 2020-07-22 23:22:52 · 178 阅读 · 0 评论 -
零基础入门NLP - 新闻文本分类-Task01 赛题解读
Task01 赛题解读赛题理解学习目标赛题数据数据标签评测指标数据读取解题思路 赛题理解 赛题名称:零基础入门NLP之新闻文本分类 赛题目标:通过这道赛题可以引导大家走入自然语言处理的世界,带大家接触NLP的预处理、模型构建和模型训练等知识点。 赛题任务:赛题以自然语言处理为背景,要求选手对新闻文本进行分类,这是一个典型的字符识别问题。 学习目标 理解赛题背景与赛题数据处理 理解基本的文本分类和自然语言处理的思路 赛题数据 赛题以匿名处理后的新闻数据为赛题数据,数据集报名后可见并可下载。赛题数据为新原创 2020-07-21 21:06:20 · 136 阅读 · 0 评论