【NLP】天池新闻文本分类（四）——基于深度学习的文本分类1

最新推荐文章于 2024-08-30 17:45:12 发布

阿黄一号

最新推荐文章于 2024-08-30 17:45:12 发布

阅读量838

点赞数 1

文章标签：机器学习 python 人工智能神经网络深度学习

本文链接：https://blog.csdn.net/u011961803/article/details/107605644

版权

本文介绍了深度学习中的FastText方法用于新闻文本分类，通过 Embedding 层将单词映射到低维度空间，解决传统方法中的高维问题。FastText在文本分类任务上表现出优势，具有快速训练和捕捉单词关系的特点。文中还展示了如何使用Keras实现FastText网络结构，并应用分层交叉验证进行参数调优。

摘要由CSDN通过智能技术生成

前言

本文是NLP之新闻文本分类挑战赛（赛题链接）。
的第四篇：基于深度学习得文本分类1。上一篇是基于机器学习的文本分类，使用的是传统机器学习算法来实现新闻分类建模：介绍了几种文本的表示方法，如One-hot、Bag of words、N-gram、TF-IDF，并且通过sklearn分别实现了Count Vectors + RidgeClassifier、TF-IDF + RidgeClassifier、TF-IDF + LogisticRegression三种组合方法的建模和预测。但是上述方法存在几点思考：转换得到的向量维度很高，从而需要较长的训练时间；没有考虑文本单词之间的关系，只是进行了单词统计等。基于以上，下面介绍深度学习的文本分类，可以将其映射到一个低维度空间，比较典型的方法有：FastText、Word2Vec和Bert。本篇文章将介绍FastText，同时将在后续文章介绍Word2Vec和Bert。