自然语言处理
文章平均质量分 55
FB1024
这个作者很懒,什么都没留下…
展开
-
使用sentence-transformer进行fine-tune
使用自己的数据,对sentence-transformer进行fine-tune原创 2023-04-24 17:22:36 · 336 阅读 · 0 评论 -
TurboTransformers 加速预训练模型推理
TurboTransformers 加速预训练模型推理原创 2022-10-10 17:39:45 · 1058 阅读 · 1 评论 -
文本多标签分类-SGM
论文标题:SGM:Sequence generation model for Multi-label classification论文地址:https://arxiv.org/pdf/1806.04822.pdf模型简况: 使用seq2seq的方式来解决多标签分类问题,通过这种方式,能够在一定程度上建模标签之间的关联信息。Encoder 双向LSTM编码 AttentionD...原创 2020-07-18 10:26:15 · 780 阅读 · 2 评论 -
文本多标签分类-概述
一.多类VS多标签多类分类(Multiclass classification) 表示分类任务中有多个类别,多类分类是假设每个样本都被设置了有且仅有一个标签。 比如对一堆水果图片分类, 它们可能是橘子、苹果、梨等,一个水果可以是苹果或者梨, 但是同时不可能是两者。多标签分类(Multilabel classification) 给每个样本一系列的目标标签. 可以想象成一个数据点的各属性不是相互排斥的,比如一个文档相关的话题. 一个文本可能被同时认为是...原创 2020-07-07 21:12:05 · 1655 阅读 · 0 评论 -
VAE for 文本生成
VAE详解:https://spaces.ac.cn/archives/5253 变分自编码器(Variational auto-encoder,VAE)是一类重要的生成模型(generative model),它于2013年由Diederik P.Kingma和Max Welling提出[1]。2016年Carl Doersch写了一篇VAEs的tutorial[2],对VAEs做...原创 2020-03-22 14:24:15 · 7308 阅读 · 0 评论 -
几种短文本相似计算方法
import jieba from collections import Counter import difflib def edit_similar(str1,str2): len_str1=len(str1) len_str2=len(str2) taglist=np.ze...原创 2019-10-25 15:41:43 · 181 阅读 · 0 评论 -
文本相似度之LSI
1.VSM简介 空间向量模型VSM,是将文本表示成数值表示的向量。在使用VSM做文本相似度计算时,其基本步骤是: 1)将文本分词,提取特征词s:(t1,t2,t3,t4) 2)将特征词用权重表示,从而将文本表示成数值向量s:(w1,w2,w3,w4),权重表示的方式一般使用tfidf 3)计算文本向量间的余弦值,判断文本间的相似度缺点:空间向量模型...原创 2018-09-15 11:08:04 · 2694 阅读 · 0 评论