nlp
可以学习吗
学习可以进步吗
展开
-
入门NLP-5-基于深度学习的文本分类2-TextCNN
基于深度学习的文本分类-TextCNN综述数据TextCNN原理介绍完整代码(应用在该天池数据集上)TextCNN的超参数调参综述和上篇文章一样,重在实践。结合天池比赛数据,附带完整代码。数据数据集来自天池比赛,可自行下载或者联系我: 链接TextCNN原理介绍TextCNN 是利用卷积神经网络对文本进行分类的算法,由 Yoon Kim 在 “Convolutional Neural Networks for Sentence Classification” 一文 (见参考[1]) 中提出.原创 2020-07-28 20:09:35 · 396 阅读 · 0 评论 -
入门NLP-4-基于深度学习的文本分类1-fastText
入门NLP-4-基于深度学习的文本分类1-fastText综述数据fastText简介及使用fastText 架构原理fastText的安装fastText的使用总结综述在这里不太不关注fastText的原理,重点放在怎么使用,欢迎一起讨论。数据数据集来自天池比赛,可自行下载或者联系我: 链接fastText简介及使用fastText 架构原理fastText 模型输入一个词的序列(一段文本或者一句话),输出这个词序列属于不同类别的概率。序列中的词和词组组成特征向量,特征向量通过线性变换映原创 2020-07-27 21:39:12 · 262 阅读 · 0 评论 -
入门NLP-3-基于机器学习的文本分类
入门NLP-3-基于机器学习的文本分类综述传统文本分类方法文本预处理:中文分词英文分词文本表示One hotBag of WordsBi-gram and N-gramTF-IDF分类器综述文本分类在文本处理中是很重要的一个模块,它的应用也非常广泛,比如:垃圾过滤,新闻分类,词性标注等等。它和其他的分类没有本质的区别,核心方法为首先提取分类数据的特征,然后选择最优的匹配,从而分类。但是文本也有自己的特点,根据文本的特点,文本分类的一般流程为:1.预处理;2.文本表示及特征选择;3.构造分类器;4.分类。原创 2020-07-23 19:28:59 · 709 阅读 · 0 评论 -
入门NLP -2- 数据读取与数据分析
入门NLP - 数据读取与数据分析数据读取与数据分析数据读取数据分析句子长度分析新闻类别分布字符分布统计数据分析的结论数据读取与数据分析本节主要内容为数据读取和数据分析,具体使用Pandas库完成数据读取操作,并对赛题数据进行分析构成。天池比赛: 链接.数据读取赛题数据虽然是文本数据,每个新闻是不定长的,但任然使用csv格式进行存储。因此可以直接用Pandas完成数据读取的操作。数据列使用\t进行分割,Pandas读取数据的代码如下:import pandas as pdtrain_df =原创 2020-07-22 22:49:35 · 869 阅读 · 0 评论 -
入门NLP- 1-新闻文本分类
零基础入门NLP- 新闻文本分类赛题综述赛题数据评测标准方法赛题综述赛题以自然语言处理为背景,要求选手根据新闻文本字符对新闻的类别进行分类,这是一个经典文本分类问题。通过这道赛题可以引导大家走入自然语言处理的世界,带大家接触NLP的预处理、模型构建和模型训练等知识点。天池比赛: 链接.赛题数据赛题以新闻数据为赛题数据,数据集报名后可见并可下载。赛题数据为新闻文本,并按照字符级别进行匿名处理。整合划分出14个候选分类类别:财经、彩票、房产、股票、家居、教育、科技、社会、时尚、时政、体育、星座、游戏、原创 2020-07-21 23:06:47 · 379 阅读 · 1 评论