fastText文本分类

最新推荐文章于 2024-09-08 14:29:16 发布
最新推荐文章于 2024-09-08 14:29:16 发布
阅读量1.3k 收藏 1
点赞数
分类专栏： 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/cymy001/article/details/90601228
版权

fastText文本分类原理

【1.】对N个文档分词获得词表
【2.】用词粒度/字粒度的ngram扩充词表(有一些hash tricks以防词表爆炸)
【3.】获得某1个文档的分词和ngram词索引向量
【4.】对上一步的词索引向量做embedding，获得该文档的embedding词向量序列
【5.】对上一步的embedding词向量序列，按词取平均
【6.】对上一步取平均之后的向量做层次softmax(多分类softmax的变体)

fastText文本分类建模调参案例

安装fastText：https://github.com/facebookresearch/fastText/archive/v0.1.0.zip
下载数据集(cooking.stackexchange.tar.gz)：https://download.csdn.net/download/cymy001/11222071
数据集说明：数据集是从Stack exchange 网站的烹饪部分下载的问题示例及相应的类别标签，将基于此数据集构建一个分类器来自动识别烹饪问题的类别。 cooking.stackexchange.tar.gz解压缩后的文本文件的每一行都包含一个标签列表(所有标签都以 __label__ 前缀开始)，其后是相应的文档。对模型进行训练，以预测给定文档的标签。
在这里插入图片描述

step1：baseline
#查看全量数据集
prodeMBP:fastText_learn pro$ wc cooking.stackexchange.txt
   15404  169582 1401900 cooking.stackexchange.txt

 #切分训练集、验证集，验证集评估该学习分类器对新数据的适用程度
prodeMBP:fastText_learn pro$ head -n 12404 cooking.stackexchange.txt > cooking.train
prodeMBP:fastText_learn pro$ tail -n 3000 cooking.stackexchange.txt > cooking.valid 

#训练模型（input参数传入训练数据，-output 保存模型的位置和文件名）
prodeMBP:fastText_learn pro$ ./fastText-0.1.0/fasttext supervised -input cooking.train -output model_cooking
Read 0M words
Number of words:  14543
Number of labels: 735
Progress: 0.1%  words/sec/thread: 50053  lr: 0.099944  loss: 15.778889
Progress: 0.1%  words/sec/thread: 77722  lr: 0.099885  loss: 16.707058
Progress: 0.2%  words/sec/thread: 94088  lr: 0.099843  loss: 17.041201
...
Progress: 99.1%  words/sec/thread: 81627  lr: 0.000851  loss: 9.994794
Progress: 100.0%  words/sec/thread: 81663  lr: 0.000000  loss: 9.992051  eta: 0h0m 

#拿两个例子测试训练好的模型文件model_cooking.bin
#（1）预测1个标签
prodeMBP:fastText_learn pro$ ./fastText-0.1.0/fasttext predict model_cooking.bin -
Which baking dish is best to bake a banana bread ?
__label__baking
__label__food-safety
Why not put knives in the dishwasher?
__label__food-safety
#（2）预测5个标签
prodeMBP:fastText_learn pro$ ./fastText-0.1.0/fasttext predict model_cooking.bin - 5
Why not put knives in the dishwasher?
__label__food-safety __label__baking __label__bread __label__equipment __label__substitutions

在 Stack Exchange 上，这句话标有三个标签：equipment，cleaning 和 knives。模型预测的五个标签中有一个是正确的，精确度为 0.20。 在三个真实标签中，只有 equipment 标签被该模型预测出，召回率为 0.33。

#拿测试集整体了解模型model_cooking.bin的预测质量，P@i/R@i表示预测i个标签对应的准确/召回率
#（1）预测1个标签
prodeMBP:fastText_learn pro$ ./fastText-0.1.0/fasttext test model_cooking.bin cooking.valid 
N	3000
P@1	0.149
R@1	0.0646
Number of examples: 3000
#（2）预测5个标签
prodeMBP:fastText_learn pro$ ./fastText-0.1.0/fasttext test model_cooking.bin cooking.valid 5
N	3000
P@5	0.067
R@5	0.145
Number of examples: 3000
step2：数据预处理优化
#预处理单词包含大写字母或标点符号
prodeMBP:fastText_learn pro$ cat cooking.stackexchange.txt | sed -e "s/\([.\!?,'/()]\)/ \1 /g" | tr "[:upper:]" "[:lower:]" > cooking.preprocessed_1.txt

prodeMBP:fastText_learn pro$ head -n 12404 cooking.preprocessed_1.txt > cooking_1.train
prodeMBP:fastText_learn pro$ tail -n 3000 cooking.preprocessed_1.txt > cooking_1.valid

prodeMBP:fastText_learn pro$ ./fastText-0.1.0/fasttext supervised -input cooking_1.train -output model_cooking_1
Read 0M words
Number of words:  8952
Number of labels: 735
Progress: 0.0%  words/sec/thread: 85227  lr: 0.099987  loss: 15.532344
Progress: 0.1%  words/sec/thread: 125621  lr: 0.099921  loss: 16.70705
···
Progress: 99.4%  words/sec/thread: 88113  lr: 0.000576  loss: 9.895709
Progress: 100.0%  words/sec/thread: 96064  lr: 0.000000  loss: 9.894776  eta: 0h0m 

prodeMBP:fastText_learn pro$ ./fastText-0.1.0/fasttext test model_cooking_1.bin cooking_1.valid 
N	3000
P@1	0.177
R@1	0.0767
Number of examples: 3000
step3：调参
#加入参数迭代次数epoch，表示每个样本在整个训练过程出现的次数。
prodeMBP:fastText_learn pro$ ./fastText-0.1.0/fasttext supervised -input cooking_1.train -output model_cooking_2 -epoch 25
Read 0M words
Number of words:  8952
Number of labels: 735
Progress: 0.0%  words/sec/thread: 41040  lr: 0.100000  loss: 15.532344
Progress: 0.0%  words/sec/thread: 101927  lr: 0.099987  loss: 16.70705
···
Progress: 100.0%  words/sec/thread: 88445  lr: 0.000026  loss: 7.17666
Progress: 100.0%  words/sec/thread: 88444  lr: 0.000000  loss: 7.176500  eta: 0h0m 

prodeMBP:fastText_learn pro$ ./fastText-0.1.0/fasttext test model_cooking_2.bin cooking_1.valid
N	3000
P@1	0.519
R@1	0.225
Number of examples: 3000

 #加入参数lr，改变模型学习速度，即处理每个样本后 模型变化的幅度。 
 #学习率为 0 意味着模型根本不会改变，即不会学到任何东西；好的学习速率在 0.1 - 1.0 范围内。
prodeMBP:fastText_learn pro$ ./fastText-0.1.0/fasttext supervised -input cooking_1.train -output model_cooking_3 -lr 1.0
Read 0M words
Number of words:  8952
Number of labels: 735
Progress: 0.6%  words/sec/thread: 83356  lr: 0.994433  loss: 15.532344
Progress: 0.6%  words/sec/thread: 84618  lr: 0.994055  loss: 14.675364
Progress: 0.7%  words/sec/thread: 81756  lr: 0.993252  loss: 13.116207
···
Progress: 99.6%  words/sec/thread: 88352  lr: 0.004163  loss: 6.479478
Progress: 100.0%  words/sec/thread: 88351  lr: 0.000000  loss: 6.479478  eta: 0h0m 

prodeMBP:fastText_learn pro$ ./fastText-0.1.0/fasttext test model_cooking_3.bin cooking_1.valid
N	3000
P@1	0.568
R@1	0.245
Number of examples: 3000

#同时加入参数lr、epoch
prodeMBP:fastText_learn pro$ ./fastText-0.1.0/fasttext supervised -input cooking_1.train -output model_cooking_4 -lr 1.0 -epoch 25
Read 0M words
Number of words:  8952
Number of labels: 735
Progress: 0.0%  words/sec/thread: 75736  lr: 0.999973  loss: 15.532344
Progress: 0.0%  words/sec/thread: 76247  lr: 0.999843  loss: 16.707058
Progress: 0.0%  words/sec/thread: 90871  lr: 0.999761  loss: 17.011614
···
Progress: 99.9%  words/sec/thread: 88333  lr: 0.001316  loss: 4.354121
Progress: 100.0%  words/sec/thread: 88332  lr: 0.000000  loss: 4.353338  eta: 0h0m

prodeMBP:fastText_learn pro$ ./fastText-0.1.0/fasttext test model_cooking_4.bin cooking_1.valid
N	3000
P@1	0.591
R@1	0.255
Number of examples: 3000

 #加入2-gram
prodeMBP:fastText_learn pro$ ./fastText-0.1.0/fasttext supervised -input cooking_1.train -output model_cooking_5 -lr 1.0 -epoch 25 -wordNgrams 2
Read 0M words
Number of words:  8952
Number of labels: 735
Progress: 0.0%  words/sec/thread: 81584  lr: 0.999974  loss: 15.532344
Progress: 0.0%  words/sec/thread: 158995  lr: 0.999657  loss: 16.70705
Progress: 0.0%  words/sec/thread: 96518  lr: 0.999574  loss: 17.011614
Progress: 0.1%  words/sec/thread: 87310  lr: 0.999470  loss: 17.178629
···
Progress: 99.8%  words/sec/thread: 87492  lr: 0.001646  loss: 3.171684
Progress: 100.0%  words/sec/thread: 87481  lr: 0.000000  loss: 3.171049  eta: 0h0m 

prodeMBP:fastText_learn pro$ ./fastText-0.1.0/fasttext test model_cooking_5.bin cooking_1.valid
N	3000
P@1	0.613
R@1	0.265
Number of examples: 3000

在这里插入图片描述精度从 14.9％ 到达 61.3％的重要改进步骤包括：
预处理数据 ;
改变迭代次数 (使用选项 -epoch, 标准范围 [5 - 50]) ;
改变学习速率 (使用选项 -lr, 标准范围 [0.1 - 1.0]) ;
使用 word n-grams (使用选项 -wordNgrams, 标准范围 [1 - 5]).

thinker_1120
关注
专栏目录
快速文本分类（FastText）
sikh_0529的博客
09-13 1万+
深度学习神经网络在自然语言处理中表现非常优秀，但动辄几十层，上亿参数的大型网络速度慢且需要大量算力支持，限制了使用场景。FastText是Facebook开源的一款简单而高效的文本分类器，它使用浅层的神经网络实现了word2vec以及文本分类功能，效果与深层网络差不多，节约资源，且有百倍的速度提升，可谓高效的工业级解决方案。本篇将介绍Fasttext的相关概念、原理及用法。文本分类是许多应用程序的核心问题，例如垃圾邮件检测，情感分析或智能回复。
FastText文本分类原理详解
05-10 450
fastText是一个快速文本分类算法，与基于神经网络的分类算法相比有两大优点：1、fastText在保持高精度的情况下加快了训练速度和测试速度2、fastText不需要预训练好的词向量，fastText会自己训练词向量3、fastText两个重要的优化：Hierarchical Softmax、N-gramfastText结合了自然语言处理和机器学习中最成功的理念。这些包括了使用词袋以及n-gram袋表征语句，还有使用子字(subword)信息，并通过隐藏表征在类别间共享信息。
FastText：快速的文本分类器
热门推荐
不忘初心~
02-26 9万+
转载请注明作者和出处：http://blog.csdn.net/john_bh/ 一简介 二FastText原理 1 模型架构 2 层次SoftMax 3 N-gram特征 三 基于fastText实现文本分类 1 fastText有监督学习分类 2 fastText有监督学习分类 三总结 1 fastText和word2vec的区别 2 小结 一、简介 fast...
NLP系列之---FastText
最新发布
qq_45857607的博客
09-08 326
例如：以上就是今天要讲的内容，本文仅仅简单介绍了pandas的使用，而pandas提供了大量能使我们快速便捷地处理数据的函数和方法。
fastText实现文本分类
IT之一小佬的博客
04-06 1084
fastText实现文本分类 1. fastText的介绍 【用来获取词向量，进行文本分类的工具；分类的效率，得到词向量的效率高】 文档地址：https://fasttext.cc/docs/en/support.html fastText is a library for efficient learning of word representations and sentence classification. fastText是一个单词表示学习和文本分类的库 优点：在标准的多核CPU上， .
fasttext 文本分类_step by step带你fastText文本分类
weixin_39771775的博客
11-30 123
本文参考原文-http://bjbsair.com/2020-03-25/tech-info/6300/ 写在前面今天的教程是基于FAIR的Bag of Tricks for Efficient Text Classification[1]。也就是我们常说的fastText。最让人欣喜的这篇论文配套提供了fasttext工具包。这个工具包代码质量非常高，论文结果一键还原，目前已经是包装地非常专业了...
fasttext文本分类
李孟笛的博客
10-27 775
前几天为了实现文本分类，看了不少博客文章之类的，就fasttext还算稍微能看懂，代码也最终能跑得起来，但是好多博客的代码都是更新之前的了，会报错，找坑填坑一路爬出来，总算跑通了，发出来做个记录吧。 看过我博客的小伙伴应该知道我的这篇自制文本分类的骚操作 还是跟它一样，先有数据，我就不多说了。 接下来首先是先写一个文本分类处理的代码，待会儿再写一个文本分类预测的代码，我是分开运行的，你也可以自己整...
fasttext文本分类.zip
05-07
fasttext文本分类 import re from types import MethodType, FunctionType import os import numpy as np import fasttext import jieba from sklearn.metrics import confusion_matrix, classification_report ...
Fasttext快速文本分类器代码
07-15
《深入理解Fasttext：快速文本分类器的实现与应用》 Fasttext是Facebook开源的一款高效、灵活且强大的文本分类工具，其主要特点是基于词袋模型（Bag-of-Words）和词n-gram，同时结合了深度学习技术，尤其是神经网络...
FastText文本分类代码
weixin_45599022的博客
10-17 1398
import jieba import pandas as pd import random import fasttext cate_dic = {'technology':1, 'car':2, 'entertainment':3, 'military':4, 'sports':5} df_technology = pd.read_csv("./data/technology_news.csv", encoding='utf-8') df_technology = df_technology.dro
fastText 文本分类
Transfer
05-22 523
fastText文本分类什么是文本分类？安装使用fastText参考文献 文本分类   文本分类是许多应用程序的核心问题，如垃圾邮件检测，情绪分析或智能回复。 在本教程中，我们将介绍如何使用fastText工具构建文本分类器。 什么是文本分类？   文本分类的目标是将文档（例如电子邮件，帖子，文本消息，产品评论等）分配给一个或多个类别。 这些类别可以是评论分数，垃圾邮件vs. 非垃圾邮件或输入文档...
fastText-文本分类
zephyr_wang的博客
05-11 1144
1 简介 本文根据2016年《Bag of Tricks for Efficient Text Classification》翻译总结的。主要写了fastText， fast text classifier。fastText使用一个多核CPU在10分钟内可以训练十亿单词。可以在1分钟内将50万句子分类为312K个类别。 一个简单有效的句子分类模型是将句子表示成BoW（bag of words），然后训练一个线性分类器，如逻辑回归、SVM。但是，线性分类器不在特征和类别之间共享参数，这可能限制了他们的泛化能力
fasttext进行文本分类
光英的记忆博客
12-13 567
https://github.com/facebookresearch/fastText python版本 https://github.com/salestock/fastText.py 这个是非官方的版本　现在已经不在使用了 官方提供了Python版本　 https://github.com/facebookresearch/fastText/tree/master/python 现在用的...
文本分类-fastText
qq_14950717的博客
12-23 1011
一、FastText架构 1. fastText 原理fastText 方法包含三部分：模型架构、层次 Softmax 和 N-gram 特征。下面我们一一介绍。1.1 模型架构fastText 模型架构如下图所示。fastText 模型输入一个词的序列（一段文本或者一句话)，输出这个词序列属于不同类别的概率。序列中的词和词组组成特征向量，特征向量通过线性变换映射到中间层，中间层再映射到标签。fa
fasttext 文本分类_文本分类神器：fastText
weixin_39895181的博客
11-30 713
fastText文本分类思想fastText文本分类的核心思想是什么？ 仔细观察模型的后半部分，即从隐含层输出到输出层输出，会发现它就是一个softmax线性多类别分类器，分类器的输入是一个用来表征当前文档的向量；模型的前半部分，即从输入层输入到隐含层输出部分，主要在做一件事情：生成用来表征文档的向量。那么它是如何做的呢？叠加构成这篇文档的所有词及n-gram的词向量，然后取平均。叠加词向量背后...
FastText：高效的文本分类工具
Chaos的博客
03-18 3203
随着大数据时代的到来，文本分类成为了自然语言处理领域中最重要的任务之一。文本分类可以帮助我们自动将大量文本分为不同的类别，从而加快信息的处理和理解。FastText是Facebook AI Research团队开发的一个高效的文本分类工具，它能够在处理大规模文本数据时快速训练模型。在本篇博客中，我们将介绍FastText模型的原理、优缺点以及如何使用FastText模型来进行文本分类任务。
fasttext实现文本分类
风口IT猪的成长录
08-05 736
fastText实现文本分类1. fastText的介绍2. 安装和基本使用2.1 安装步骤：2.2 基本使用3. 意图识别实现3.1 数据准备3.1.1 准备特征文本3.1.2 准备闲聊文本3.1.3 把文本转化为需要的格式3.1.4 思考3.2 模型的训练3.3 模型的封装3.4 模型测试 1. fastText的介绍 文档地址：https://fasttext.cc/docs/en/support.html fastText is a library for efficient learning
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值