文本分类模型合集-详细注解--tf/pytorch双版本

已于 2022-04-15 18:15:12 修改
阅读量2.2k 收藏 6
点赞数 3
分类专栏： TensorFlow PyTorch 文章标签： nlp 分类 自然语言处理 tensorflow pytorch
于 2022-03-18 22:19:34 首次发布
DengBoCong版权所有，原创不易，点个关注再转发哦
本文链接：https://blog.csdn.net/DBC_121/article/details/123585794
版权
该博客介绍了多种文本相似度计算方法，包括TF-IDF、BM25、LSH、SIF/uSIF、FastText、RNNBase、CNNBase、BertBase、Albert、NEZHA、RoBERTa等。提供了详细的使用示例和预处理、训练、评估代码，涵盖了从传统方法到最新预训练模型的多种技术。此外，还涉及了如SimCSE、Poly-Encoder、ColBERT和RE2等先进的句子表示学习模型。
摘要由CSDN通过智能技术生成

Overview

仓库地址：https://github.com/DengBoCong/text-similarity

Overview

  • Dataset: 中文/English 语料, ☞ 点这里
  • Paper: 相关论文详解, ☞ 点这里
  • The implemented method is as follows:：
    • TF-IDF
    • BM25
    • LSH
    • SIF/uSIF
    • FastText
    • RNN Base (Siamese RNN, Stack RNN)
    • CNN Base (Fast Text, Text CNN, Char CNN, VDCNN)
    • Bert Base
    • Albert
    • NEZHA
    • RoBERTa
    • SimCSE
    • Poly-Encoder
    • ColBERT
    • RE2（Simple-Effective-Text-Matching）

Usages

1：examples目录下有不同模型对应的 preprocess/train/evalute代码，可自行修改
2：如下示例从examples中引入actuator方法，准备好对应的模型配置文件即可执行
3：examples目录下的inference.py为训练好的模型推理代码

TF-IDF

# Example
# Sklearn version
from examples.run_tfidf_sklearn import actuator
actuator("./corpus/chinese/breeno/train.tsv", query1="12 23 4160 276", query2="29 23 169 1495")

# Custom version
from examples.run_tfidf import actuator
actuator("./corpus/chinese/breeno/train.tsv", query1="12 23 4160 276", query2="29 23 169 1495")

# 工具调用
from sim.tf_idf import TFIdf

tokens_list = ["这是 一个 什么 样 的 工具", "..."]
query = ["非常 好用 的 工具"]

tf_idf = TFIdf(tokens_list, split=" ")
print(tf_idf.get_score(query, 0))  # score
print(tf_idf.get_score_list(query, 10))  # [(index, score), ...]
print(tf_idf.weight())  # list or numpy array

BM25

# Example
from examples.run_bm25 import actuator
actuator("./corpus/chinese/breeno/train.tsv", query1="12 23 4160 276", query2="29 23 169 1495")

# 工具调用
from sim.bm25 import BM25

tokens_list = ["这是 一个 什么 样 的 工具", "..."]
query = ["非常 好用 的 工具"]

bm25 = BM25(tokens_list, split=" ")
print(bm25.get_score(query, 0))  # score
print(bm25.get_score_list(query, 10))  # [(index, score), ...]
print(bm25.weight())  # list or numpy array

LSH

from sim.lsh import E2LSH
from sim.lsh import MinHash

e2lsh = E2LSH()
min_hash = MinHash()

candidates = [[3.6216, 8.6661, -2.8073, -0.44699, 0], ...]
query = [-2.7769, -5.6967, 5.9179, 0.37671, 1]
print(e2lsh.search(candidates, query))  # index in candidates
print(min_hash.search(candidates, query))  # index in candidates

SIF

sentences = [["token1", "token2", "..."], ...]
vector = [[[1, 1, 1], [2, 2, 2], [...]], ...]
from sim.sif_usif import SIF
from sim.sif_usif import uSIF

sif = SIF(n_components=5, component_type="svd")
sif.fit(tokens_list=sentences, vector_list=vector)

usif = uSIF(n_components=5, n=1, component_type="svd")
usif.fit(tokens_list=sentences, vector_list=vector)

FastText

# TensorFlow version
from examples.tensorflow.run_fast_text import actuator
actuator(execute_type="train", model_type="bert", model_dir="./data/chinese_wwm_L-12_H-768_A-12")

# Pytorch version
from examples.pytorch.run_fast_text import actuator
actuator(execute_type="train", model_type="bert", model_dir="./data/chinese_wwm_pytorch")

RNN Base

# TensorFlow version
from examples.tensorflow.run_siamese_rnn import actuator
actuator("./data/config/siamse_rnn.json", execute_type="train")

# Pytorch version
from examples.pytorch.run_siamese_rnn import actuator
actuator("./data/config/siamse_rnn.json", execute_type="train")

CNN Base

# TensorFlow version
from examples.tensorflow.run_cnn_base import actuator
actuator(execute_type="train", model_type="bert", model_dir="./data/chinese_wwm_L-12_H-768_A-12")

# Pytorch version
from examples.pytorch.run_cnn_base import actuator
actuator(execute_type="train", model_type="bert", model_dir="./data/chinese_wwm_pytorch")

Bert Base

# TensorFlow version
from examples.tensorflow.run_basic_bert import actuator
actuator(model_dir="./data/chinese_wwm_L-12_H-768_A-12", execute_type="train")

# Pytorch version
from examples.pytorch.run_basic_bert import actuator
actuator(model_dir="./data/chinese_wwm_pytorch", execute_type="train")

Albert

# TensorFlow version
from examples.tensorflow.run_albert import actuator
actuator(model_dir="./data/albert_small_zh_google", execute_type="train")

# Pytorch version
from examples.pytorch.run_albert import actuator
actuator(model_dir="./data/albert_chinese_small", execute_type="train")

NEZHA

# TensorFlow version
from examples.tensorflow.run_nezha import actuator
actuator(model_dir="./data/NEZHA-Base-WWM", execute_type="train")

# Pytorch version
from examples.pytorch.run_nezha import actuator
actuator(model_dir="./data/nezha-base-wwm", execute_type="train")

RoBERTa

# TensorFlow version
from examples.tensorflow.run_basic_bert import actuator
actuator(model_dir="./data/chinese_roberta_L-6_H-384_A-12", execute_type="train")

# Pytorch version
from examples.pytorch.run_basic_bert import actuator
actuator(model_dir="./data/chinese-roberta-wwm-ext", execute_type="train")

SimCSE

# TensorFlow version
from examples.tensorflow.run_simcse import actuator
actuator(model_dir="./data/chinese_wwm_L-12_H-768_A-12", execute_type="train", model_type="bert")

# Pytorch version
from examples.pytorch.run_simcse import actuator
actuator(model_dir="./data/chinese_wwm_pytorch", execute_type="train", model_type="bert")

Poly-Encoder

# TensorFlow version
from examples.tensorflow.run_poly_encoder import actuator
actuator(model_dir="./data/chinese_wwm_L-12_H-768_A-12", execute_type="train", model_type="bert")

# Pytorch version
from examples.pytorch.run_poly_encoder import actuator
actuator(model_dir="./data/chinese_wwm_pytorch", execute_type="train", model_type="bert")

ColBERT

# TensorFlow version
from examples.tensorflow.run_colbert import actuator
actuator(model_dir="./data/chinese_wwm_L-12_H-768_A-12", execute_type="train", model_type="bert")

# Pytorch version
from examples.pytorch.run_colbert import actuator
actuator(model_dir="./data/chinese_wwm_pytorch", execute_type="train", model_type="bert")

RE2

# TensorFlow version
from examples.tensorflow.run_re2 import actuator
actuator("./data/config/re2.json", execute_type="train")

# Pytorch version
from examples.pytorch.run_re2 import actuator
actuator("./data/config/re2.json", execute_type="train")
BoCong-Deng
关注
专栏目录
文本分类模型-Pytorch：在Pytorch中实现最新的文本分类模型
02-03
文本分类模型 在Pytorch中实现最新的文本分类模型 实施模型 fastText：fastText模型， TextCNN：提出的用于文本分类的CNN TextRNN：用于文本分类的双向LSTM网络 RCNN：在提出的的RCNN模型的实现 CharCNN： 提出的字符级CNN的实现 带有注意力的Seq2seq ：，从注意实现seq2seq模型 变压器：提出的变压器模型的实现 要求 Python-3.5.0 熊猫0.23.4 Numpy-1.15.2 Spacy-2.0.13 Pytorch-0.4.1.post2 火炬文字-0.3.1 用法 将数据下载到“ data /”目录中或使
独家 | 教你用Pytorch建立你的第一个文本分类模型！
数据派THU
03-16 743
作者：Aravind Pai翻译：王威力校对：张一豪本文约3400字，建议阅读10+分钟本文介绍了利用Pytorch框架实现文本分类的关键知识点，包括使...
Pytorch 实现文本分类
06-11
文本分类的标准代码，Pytorch实现 数据集Dataset - IMDB - SST - Trec ### 模型 - FastText - BasicCNN (KimCNN,MultiLayerCNN, Multi-perspective CNN) - InceptionCNN - LSTM (BILSTM, StackLSTM) - LSTM with Attention (Self Attention / Quantum Attention) - Hybrids between CNN and RNN (RCNN, C-LSTM) - Transformer - Attention is all you need - ConS2S - Capsule - Quantum-inspired NN
教你用Pytorch建立你的第一个文本分类模型
qq_38473097的博客
07-09 795
学习如何使用PyTorch实现文本分类 理解文本分类中的关键点 学习使用压缩填充方法 介绍 在我的编程历程中，我总是求助于最先进的架构。现在得益于深度学习框架，比如说PyTorch，Keras和TensorFlow，实现先进的架构已经变得更简单了。这些深度学习框架提供了一种实现复杂模型架构和算法的简单方式，不需要你掌握大量的专业知识和编程技能。总结来说，这是数据科学的金矿。 在本文中，我们将使用PyTorch框架，它以其快速的计算能力而闻名。因此，在本文中，我们将介...
Python-PyTorch实现的BERT多标签文本分类
08-10
This repo contains a PyTorch implementation of a pretrained BERT model for multi-label text classification.
gpt-2-Pytorch：具有OpenAI的简单文本生成器gpt-2 Pytorch实现
02-03
在Pytorch中下载GPT2预训练模型，该模型已经完成了face / pytorch-pretrained-BERT的制作！ （感谢分享！这有助于我将tensorflow（ckpt）文件传输到Pytorch模型的问题！） $ git clone https://g
hmm模型matlab代码-pytorch-kaldi:https://github.com/mravanelli/pytorch-kaldi
05-28
hmm模型matlab代码PyTorch-Kaldi语音识别工具包 PyTorch-Kaldi是一个开放源代码存储库，用于开发最新的DNN / HMM语音识别系统。 DNN部分由PyTorch管理，而特征提取，标签计算和解码则由Kaldi工具包执行。 该存储库...
pytorch-classification:使用PyTorch进行分类
05-09
火炬分类 使用PyTorch在CIFAR-10 / 100和ImageNet上进行分类。 特征 适用于不同网络架构的统一接口 多GPU支持 具有丰富信息的培训进度栏 训练日志和训练曲线可视化代码（请参阅./utils/logger.py ） 安装 安装 递归...
Bert-Chinese-Text-Classification-Pytorch:使用Bert，ERNIE，进行中文文本分类
05-11
中文文本分类，Bert，ERNIE，基于pytorch，开箱即用。 介绍 模型介绍、数据流动过程：还没写完，写好之后再贴博客地址。 工作忙，懒得写了，类似文章有很多。 机器：一块2080Ti ， 训练时间：30分钟。 环境 python ...
pytorch 实现中文文本分类
最新发布
qq_60245590的博客
01-26 1927
1.构建词典： 调用vocab（词汇表）对一个中文句子进行索引转换，这个句子被分词后得到的词汇列表会被转换成它们在词汇表中的索引。 生成一个标签列表，用于查看在数据集中所有可能的标签类型。 创建了两个lambda函数，一个用于将文本转换成词汇索引，另一个用于将标签文本转换成它们在列表中的索引。 函数用于处理数据加载器中的批次。它接收一个批次的数据，处理它，并返回适合模型训练的数据格式。 在这个函数内部，它遍历批次中的每个文本和标签对，将标签添加到，将文本通过函数处理后转换为
deep-siamese-text-similarity:基于siamese-lstm的中文句子相似度计算
05-09
功能描述 基于siamese-lstm的中文句子相似度计算 环境搭建 Ubuntu：16.04（64bit） Anaconda：2-4.4.0（python 2.7） 历史版本下载： TensorFlow：1.5.1 numpy：1.14.3 gensim：3.4.0 (nltk：3.2.3) jieba：0.39 word2wec中文训练模型 参考链接： 代码使用 模型训练 # python train.py 模型评估 # python eval.py 论文参考 代码参考 版本：a61f07f6bef76665f8ba2df12f34b25380016613 AETC2018赛题描述 相关链接：
TextMatch:基于Pytorch的，中文语义相似度匹配模型（ABCNN，Albert，Bert，BIMPM，DecomposableAttention，DistilBert，ESIM，RE2，Roberta，SiaGRU，XlNet）
03-20
基于Pytorch的中文语义相似度匹配模型 基于Pytorch的中文语义相似度匹配模型 本项目将持续更新，对比目前业界主流文本匹配模型在中文的效果 运行环境：python3.7，pytorch1.2，transformers2.5.1 数据集采用LCQMC数据（将一个句子对进行分类，判断两个句子的语义是否相同（二分类任务）），因数据存在涉嫌嫌疑，故不提供下载，需要者可向官方提出数据申请 ，将数据解压到数据文件夹即可。模型评价指标为：ACC，AUC以及预测总计耗时。 嵌入：本项目输入都统一采用分字策略，故通过维基百科中文语料，训练了字向量作为嵌入。训练语料，矢量模型以及词表，可通过百度网盘下载。链接： : 提取码：s830 模型文件：本项目训练的模型文件（不一定最优，可通过超参继续调优），也可通过网盘下载。链接： : 提取码：s830 测试集结果对比： 模型 行政协调会 AUC 耗时（s
Pytorch——BERT 预训练模型及文本分类（情感分类）
热门推荐
ASS-ASH的博客
11-02 3万+
BERT 预训练模型及文本分类 介绍 如果你关注自然语言处理技术的发展，那你一定听说过 BERT，它的诞生对自然语言处理领域具有着里程碑式的意义。本次试验将介绍 BERT 的模型结构，以及将其应用于文本分类实践。 知识点 语言模型和词向量 BERT 结构详解 BERT 文本分类 BERT全称为 Bidirectional Encoder Representations from Transformer，是谷歌在 2018 年 10 月发布的语言表示模型。BERT 通过维基百科和书籍语料组成的庞.
Locality Sensitive Hashing ( LSH，局部敏感哈希 ) 详解
Kenney Qin 的专栏
08-30 1万+
这篇文章想给大家介绍一个神奇的东东：LSH，它可以快速地找出海量数据中的相似数据。
文本分类模型_文本分类中的经典深度学习模型
weixin_39904612的博客
12-24 1570
众所周知，文本分类是NLP领域中十分基础的任务，大部分文本分类模型稍加修改就可以应用到其他任务中。下面介绍几个经典的文本分类模型。图中被引数来源google学术(2019/5/16)1. textCNN作为一个经典的神经网络模型，CNN具有极强的特征提取能力，而且运行速度比RNNs要快的多。当CNN在计算机视觉领域取得巨大成功之后，人们自然想到如何将CNN应用到自然语言处理任务中。然而，...
transformers 使用bert中文模型
junior_programmer的博客
05-23 9560
pytorch 下载 gpu版 pip install torch===1.5.0 torchvision===0.6.0 -f https://download.pytorch.org/whl/torch_stable.html cpu版 pip install torch==1.5.0+cpu torchvision==0.6.0+cpu -f https://download.pytorch.org/whl/torch_stable.html 中文bert-wwm 模型 下载 中文bert-w
NLP实战：中文文本分类-Pytorch实现
m0_62237233的博客
05-31 6438
model.train() # 切换为训练模式optimizer.zero_grad() # grad属性归零loss = criterion(predicted_label, label) # 计算网络输出和真实值之间的差距，label为真实值loss.backward() # 反向传播torch.nn.utils.clip_grad_norm_(model.parameters(), 0.1) # 梯度裁剪optimizer.step() # 每一步自动更新# 记录acc与loss。
PaddleNLP实战：应用NeZha模型做微博情感6分类
m0_63642362的博客
11-09 1824
基于PaddleNLP通过预训练模型NeZha在SMP微博情绪6分类数据集上进行微调完成微博情感6分类模型的训练与优化，感兴趣的也可以将其迁移至其他文本分类领域中去哦！
人工智能 | ShowMeAI资讯日报 #2022.06.11
ShowMeAI研究中心
06-11 1万+
ShowMeAI资讯日报 2022-06-11 期，Deepfake换脸工具包、最小化Transformer库、用Python写web应用的框架、文本相似度计算的项目代码、约克大学《计算机视觉》课程资料、10篇前沿论文…点击获取全部资讯
tensorboard --logdir=/home/user2/yinjiacheng/pytorch-ssd/pytorch-ssd/runs --host=0.0.0.0
05-25
这个命令是用来启动TensorBoard的，其中`--logdir`参数指定了TensorBoard读取日志文件的路径，`--host`参数指定了TensorBoard监听的IP地址。在这个命令中，TensorBoard会读取`/home/user2/yinjiacheng/pytorch-ssd/pytorch-ssd/runs`目录下的日志文件，并监听所有可用的IP地址。如果你在本地运行这个命令，可以在浏览器中输入`http://localhost:6006`来访问TensorBoard。如果你在远程服务器上运行这个命令，可以用你的服务器IP地址和端口号来访问TensorBoard。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值