该博客介绍了如何利用Keras的LSTM模型对20 Newsgroups数据集进行文本分类。首先，详细阐述了20 Newsgroups数据集的特点和版本。接着，提到了加载预训练的Glove向量进行文本向量化。然后，描述了数据加载、预处理以及构建训练集和测试集的过程。最后，构建了LSTM网络模型并进行了评估，展示了部分训练结果。
1.20 Newsgroup数据集介绍
20newsgroups数据集是用于文本分类、文本挖据和信息检索研究的国际标准数据集之一。数据集收集了大约20,000左右的新闻组文档，均匀分为20个不同主题的新闻组集合。一些新闻组的主题特别相似(e.g. comp.sys.ibm.pc.hardware/ comp.sys.mac.hardware)，还有一些却完全不相关 (e.g misc.forsale /soc.religion.christian)。
| comp.graphics comp.os.ms-windows.misc comp.sys.ibm.pc.hardware comp.sys.mac.hardware comp.windows.x |
rec.autos rec.motorcycles rec.sport.baseball rec.sport.hockey |
sci.crypt sci.electronics sci.med sci.space |
| misc.forsale |
talk.politics.misc talk.politics.guns talk.politics.mideast |
talk.religion.misc alt.atheism soc.religion.christian |
20newsgroups数据集有三个版本。第一个版本19997是原始的并没有修改过的版本。第二个版本bydate是按时间顺序分为训练(60%)和测试(40%)两部分数据集，不包含重复文档和新闻组名（新闻组，路径，隶属于，日期）。第三个版本18828不包含重复文档，只有来源和主题。
- 20news-19997.tar.gz –原始20 Newsgroups数据集
- 20news-bydate.tar.gz –按时间分类; 不包含重复文档和新
最低0.47元/天 解锁文章
1027
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
