![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
NLP
文章平均质量分 83
SUFEHeisenberg
在读PhD,研究兴趣为NLP方向。
展开
-
InstanceNorm && LayerNorm
IN&&LN原创 2023-01-26 15:59:52 · 1538 阅读 · 1 评论 -
AGNews Dataset的LDA2vec探索Exp
lda2vec方法的应用原创 2022-07-09 23:44:43 · 1003 阅读 · 0 评论 -
【Coding】BERT finetune用任意几个Layer的output feature作为final logits
【Coding】BERT finetune用任意几个Layer的output feature作为final logits某些paper中表示用最后四个layer的output feature结果要好一些。根据huggingface model output输出outputs = self.bert(input_ids, attention_mask=attention_mask, token_type_ids=token_t原创 2022-03-01 16:52:09 · 255 阅读 · 0 评论 -
【Coding】从BertForSequenceClassification分类出pooled_output作为final feature
从BertForSequenceClassification分类出pooled_output作为final featureBertForSequenceClassification函数在设计时并未返回pooled_output参数:class BertForSequenceClassification(BertPreTrainedModel): #.... #.... outputs = self.bert( input原创 2022-03-01 16:36:34 · 1806 阅读 · 1 评论 -
【Papers quickthrough】Out-of-manifold, Putting Words in BERT’s Mouth, MTLE.
【Papers quickthrough】Out-of-manifold, Putting Words in BERT’s Mouth, MTLE.Out-of-manifold Regularization in Contextual Embedding Space for Text ClassificationPaper Url. Accepted by ACL 2021 Long Paper.1. Abstract最近对BERT的研究主要集中在低维子空间,其中向量向量由输入词(或其上下文)原创 2021-10-28 17:27:18 · 291 阅读 · 0 评论 -
【Paper Reading】All-but-the-Top Simple
【Paper Reading】All-but-the-Top: Simple and Effective Postprocessing for Word RepresentationsPaper Url. Accepted by ICLR 2018.搞清楚如何减的D维的PCA,figure out why do this?Abstract实值词表示已经转化为NLP应用;最常见的例子是word2vec和GloVe,这两种语言因其捕捉语言规律的能力而得到认可。在本文中,我们演示了一种非常简单,但反直觉原创 2021-10-28 03:53:31 · 175 阅读 · 0 评论 -
【Paper Quickthrough】October Papers
Paper to quickthroughAll-but-the-Top: Simple and Effective Postprocessing for Word RepresentationsPaper Url. Accepted by ICLR 2018.搞清楚如何减的D维的PCA,figure out why do this?Abstract实值词表示已经转化为NLP应用;最常见的例子是word2vec和GloVe,这两种语言因其捕捉语言规律的能力而得到认可。在本文中,我们演示了一种非常原创 2021-10-24 23:08:44 · 1193 阅读 · 0 评论 -
【Paper Quickthrough】2021 Bert 各向异性
Bert各向异性2021 Paper QuickthroughISOTROPY IN THE CONTEXTUAL EMBEDDING SPACE: CLUSTERS AND MANIFOLDSPaper Url. Github Url. Accepted by ICLR 2021.Abstract近年来,深度语言模型(如BERT和ERNIE)的上下文嵌入空间的几何特性受到了广泛关注。对上下文嵌入的研究表明,空间具有很强的各向异性,大多数向量落在一个狭窄的锥内,导致高余弦相似性。令人惊讶的是,原创 2021-10-21 23:09:28 · 1223 阅读 · 0 评论 -
【Paper reading】Fusing label Embedding into BERT An Efficient Improvement for Text Classification
Paper reading: Fusing label Embedding into BERT: An Efficient Improvement for Text ClassificationPaper Url,东京工业大学,Findings of ACL-IJCNLP 2021.2.1 摘要随着BERT等PTM越来越受到关注,人们做了大量的研究来进一步提升它们的能力,从增强实验程序到改进数学原理。在本文中,我们提出了一种简洁的利用标签嵌入技术方法来提高BERT在文本分类中的性能,同时保持几乎相同原创 2021-10-16 13:58:46 · 580 阅读 · 0 评论 -
【21.09-21.10】近日Paper Quichthrough汇总
【21.09-21.10】近日Paper to Mention汇总文本分类1. PTR: Prompt Tuning with Rules for Text ClassificationPaper Url摘要:经过微调的预先训练的语言模型(PLMs)在几乎所有的NLP任务中都取得了令人惊叹的表现。通过使用额外的提示对plm进行微调,我们可以进一步激发分布在plm中的丰富知识,更好地服务于下游任务。提示调优在情感分类和自然语言推理等少数分类任务中取得了很好的效果。然而,手工设计大量语言提示符既麻原创 2021-10-16 13:55:48 · 735 阅读 · 0 评论 -
【转载】Simple AI——Huggingface NLP笔记
【转载】Simple AI——Huggingface NLP笔记基于Pytorch的Huggingface NLP初级教程八篇笔记:官方教程网址本期内容对应网址本系列笔记的GitHub Notebook(可下载直接运行)笔记1:直接使用pipeline,是个人就能玩NLP笔记2:一文看清Transformer大家族的三股势力笔记3:Pipeline端到端的背后发生了什么笔记4:Models,Tokenizers,以及如何做Subword tokenization笔记5:attention_转载 2021-10-01 15:31:05 · 192 阅读 · 0 评论 -
【NLP】python中英文关键词抽取技术总结
【NLP】python中英文关键词抽取技术总结无论是在中文还是英文中关键词抽取技术都是有着很重要的应用价值和分析价值,下面在python环境中分别针对中文和英文介绍几种常用的关键词抽取方法。1. 英文抽取英文关键词的几种方法:1.1 spaCyspaCy是一个集成化的工业级自然语言处理工具,主要功能包括分词、词性标注、词干化、命名实体识别、名词短语提取等等。text = "Private investment firm Carlyle Group,which has a reputation f原创 2021-09-29 13:56:15 · 5973 阅读 · 2 评论 -
Paper Reading《Supporting Clustering with Contrastive Learning》
Paper Reading《Supporting Clustering with Contrastive Learning 》@author: SUFEHeisenbergPaper url(Accepted by NAACL 2021). Github url. B站讲解. B站代码解析。1. Intuition通过TSNE可视化出数据进行聚类、对比学习之后的embedding分布我们可以看出:数据本身特性分布就是重叠交叉的,单纯的聚类通过优化不同的基于距离或相似度的聚类目标得到的聚类纯度较原创 2021-09-14 15:54:50 · 550 阅读 · 0 评论 -
Paper Reading《Fastformer Additive Attention Can Be All You Need 》
Paper Reading《Fastformer: Additive Attention Can Be All You Need 》Paper url;笔者写作时作者Github尚未开源。Unofficial版本复现:TF版本,Pytorch版本,https://github.com/ypeleg/Fastformer-Keras;以及推荐一位Youtube上的大神Yannic Kilcher对本文进行的讲解。1. Intuition传统Transformer机制囿于512个token文本长度限制原创 2021-09-09 20:18:51 · 271 阅读 · 1 评论 -
Paper Reading IsoBN
Paper Reading:IsoBNIsoBN: Fine-Tuning BERT with Isotropic Batch Normalization任翔组工作. AAAI21. Github(Null). Paper.1. IntuitionBERT embedding存在各向异性的问题,主要表现为1. 高标准差 2. 不同维度间的高相关性。不利于收敛速度和泛化能力。解决思路:whitening & batch normalization (Ioffe and Szegedy, I原创 2021-05-05 22:19:10 · 160 阅读 · 0 评论 -
Paper Reading 《SimCSE》
Paper Reading: SimCSESimCSE: Simple Contrastive Learning of Sentence Embeddings尚未发表。Github. Paper.1. 什么是对比学习及度量标准1.1 概念无监督学习两种思路:1. 生成式学习。i.e. GAN, VAE 2. 对比式学习核心是构建正负样本集合,学习同正样本之间的共同特征(拉进二者距离),区分负样本(拉远距离)。举个栗子:Loss的负对数和里面是正样本对的softmax值,min Loss原创 2021-04-27 19:09:22 · 631 阅读 · 5 评论 -
【Bugs】解决报错[nltk_data] Error loading stopwords urlopen error [Errno -3]
【Bugs】解决报错[nltk_data] Error loading stopwords: <urlopen error [Errno -3]一、报错场景在公共服务器上复现论文代码时报错,代码如下from nltk.corpus import stopwordsstop_words = stopwords.words('english')报错:[nltk_data] Error loading stopwords: <urlopen error [Errno -3][nltk_原创 2021-01-23 11:25:27 · 956 阅读 · 0 评论 -
【转载】你可能不需要BERT-flow:一个线性变换媲美BERT-flow
转载自科学空间-苏剑林苏剑林. (Jan. 11, 2021). 《你可能不需要BERT-flow:一个线性变换媲美BERT-flow 》[Blog post].BERT-flow来自论文《On the Sentence Embeddings from Pre-trained Language Models》,中了EMNLP 2020,主要是用flow模型校正了BERT出来的句向量的分布,从而使得计算出来的cos相似度更为合理一些。由于笔者定时刷Arixv的习惯,早在它放到Arxiv时笔者就看到了它,但转载 2021-01-22 22:37:51 · 199 阅读 · 0 评论 -
【转载】JoSE:球面上的词向量和句向量
【转载】JoSE:球面上的词向量和句向量本文转载自科学空间 Blog:苏剑林. (Nov. 11, 2019). 《JoSE:球面上的词向量和句向量 》[Blog post].这篇文章介绍一个发表在NeurIPS 2019的做词向量和句向量的模型JoSE(Joint Spherical Embedding),论文名字是《Spherical Text Embedding》。JoSE模型思想上和方法上传承自Doc2Vec,评测结果更加漂亮,但写作有点故弄玄虚之感。不过笔者决定写这篇文章,是因为觉得里边的某转载 2021-01-19 16:46:38 · 197 阅读 · 1 评论 -
【转载】你可能不需要BERT-flow:一个线性变换媲美BERT-flow
转载自科学空间-苏剑林苏剑林. (Jan. 11, 2021). 《你可能不需要BERT-flow:一个线性变换媲美BERT-flow 》[Blog post].BERT-flow来自论文《On the Sentence Embeddings from Pre-trained Language Models》,中了EMNLP 2020,主要是用flow模型校正了BERT出来的句向量的分布,从而使得计算出来的cos相似度更为合理一些。由于笔者定时刷Arixv的习惯,早在它放到Arxiv时笔者就看到了它,但转载 2021-01-14 10:45:31 · 439 阅读 · 0 评论 -
【Paper Reading】Text Classification Using Label Names Only A Language Model Self-Training Approach
【Paper Reading】Text Classification Using Label Names Only: A Language Model Self-Training Approach@author: Heisenberg1.Intuition针对无标签的场景下,无监督训练。只利用标签名字进行分类。paper的出发点也即在人工打标时,也是参考使用了已有的先验知识。比如在新闻类比的分类中,我们提到“运动类”,可能会想到“篮球”,“足球”,“体育场”等相关词。如何只利用label-nam原创 2021-01-13 23:27:25 · 1311 阅读 · 2 评论 -
【coding】pandas返回文本序列长度及其描述性统计
【coding】pandas返回文本序列长度及其描述性统计文本长度统计pandas时不要盲目的使用for-loop,费时费力;要熟练掌握pandas提供的内置函数。df_len_a = df['a'].str.len()#返回的df_len_a本身也是个pandas.core.series.Series数值化序列数据快速筛选出长度大于某个值的所有行df[df['a'].str.len() > 100]数值序列描述性统计df_len_a.count() #非空观测数量df_len_原创 2020-12-10 00:43:46 · 1088 阅读 · 0 评论 -
Paper Reading《Taming Pretrained Transformers for Extreme Multi-label Text Classification 》
Paper Reading:《Taming Pretrained Transformers for Extreme Multi-label Text Classification 》@time:2020-11-30github codearxiv paperSIGKDD 2020 Applied Data Track1. 主要工作针对极端多标签文本分类(Extreme Multi-label Classification, XMC)问题,即给定输入文本,则从大型标签集中返回最相关的标签。为原创 2020-12-01 19:28:10 · 1043 阅读 · 2 评论 -
【NLP】NLP中的数据增广方法
【0920】NLP中的数据增广方法author: Heisenbergdata:2020-09-20CV 主要以图像中心旋转、灰度变换为主,图像本身含义变化不大。NLP则对此非常敏感。NLP中Data Augmentation Techs:一、词汇替换基于同义词典的替换WordNet: For EnglishChineseSemanticKB:For Chinese基于Word-Embedding的替换Word2vec, Glove, FastText#demo codeim原创 2020-10-23 21:48:01 · 967 阅读 · 0 评论 -
【NLP】多标签分类Review
多标签分类介绍一、概念策略及评估标准1、概念同一个实例,可以有多个标签, 或者被分为多个类。例如,以该电影的分类为例,影片类型可以为剧情/动作/犯罪。而最顶上的label豆瓣电影Top250则只有一个,是或者不是;或者在其他国家电影分级机制中的U12(Under 12)。即多分类的label必须是N取1,多标签的label是N取M(M≥1)。2、评估标准任务是学习一个多标签分类器h(⋅)h(\cdot )h(⋅),预测h(x)⊆Yh(x) \subseteq Yh(x)⊆Y作为????的正确原创 2020-10-23 21:59:53 · 353 阅读 · 0 评论