![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
NLP
文章平均质量分 64
inCorning
In the meanwhile I smile and I sing all alone.
展开
-
pytorch 深度学习补充
a = torch.ones((4,8)) * 6 b = torch.ones(8) * 4 b[2]=2 a/b # / 必须维度要匹配,除非b是单一元素(会自动扩展)。除以b是会按照b的每个元素分别来除(按位除) a@b.T # 等价于 a.matmul(b.T) # 不会改变 a a.mean(0) x = torch.tensor([2.], requires_grad=True) y = x * x * 4 # 3x^2 y.backw...原创 2022-04-17 17:14:11 · 1444 阅读 · 0 评论 -
深度学习内存使用和pytorch的一些优化策略
Understanding memory usage in deep learning models trainingShedding some light on the causes behind CUDA out of memory ERROR, and an example on how to reduce by 80% your memory footprint with a few lines of code in PytorchUnderstanding mem...转载 2021-12-27 23:09:18 · 1211 阅读 · 0 评论 -
ACE2005语料库文件格式及内容解析
前提ACE2005语料库是语言数据联盟(LDC)发布的由实体,关系和事件注释组成的各种类型的数据,包括英语,阿拉伯语和中文培训数据,目标是开发自动内容提取技术,支持以文本形式自动处理人类语言。ACE语料解决了五个子任务的识别:entities、values、temporal expressions、relations and events。这些任务要求系统处理文档中的语言数据,然后为每个文档输出有关其中提到或讨论的实体,值,时间表达式,关系和事件的信息。ACE语料库的获取链接:https://cata转载 2021-06-13 09:17:08 · 1748 阅读 · 1 评论 -
我的面经
字节AI lab NLP 算法实习生自我介绍介绍项目。问了模型原理。代码题:0001100100111000,包含三个1的串的数量字节教育部门NLP算法实习生自我介绍算法题:滑动窗口:找到两数之和=target进阶:a+b+c = 0的三元组的数目。(可以转化为2,难点在去重,不知道写对没有(我选择去重后做2,然后多于两个的尝试行不行)项目提问:为什么不用data2text的任务介绍,数据集形式,使用的模型,评价方法,BLEU的不足;纠错模型,bert-fuse,为什么不先标错,poi原创 2021-05-23 18:08:10 · 287 阅读 · 0 评论 -
实验中的失败记录及原因
本文与实验中的 代码bug , python语法备忘 , C语言语法 同步更新,各有侧重。应当先跑正常版本、基础版本,再跑所谓的自以为的“优化”版本:emnlp大作业中的log linear模型自作聪明加上TF-IDF筛选特征有感。结果低到1/12. :(...原创 2021-05-07 08:45:32 · 494 阅读 · 0 评论 -
基础知识-面试准备
机器学习中一般怎么衡量模型效果?auc值怎么理解?https://zhwhong.cn/2017/04/14/ROC-AUC-Precision-Recall-analysis/怎么衡量两个分布的差异?KL散度和交叉熵损失有什么不同?关系是啥? https://www.zhihu.com/question/39872326/answer/83688277https://zhuanlan.zhihu.com/p/93853664https://blog.csdn.net/Dby_freedom/ar.原创 2021-04-19 17:42:37 · 288 阅读 · 0 评论 -
NLG简要调研(data2text+(Abstractive) Summarization)
目录 NLG简介: 典型任务: 文本生成方法 一、Data2text方法 早期方法: 基于NN方法: 基于神经机器翻译(Neural Machine Translation) 基于神经语言模型(Neural Language Model) 二、生成式自动摘要生成(基于NN) 最新模型: 评价指标: 客观评价指标: 主观评价指标: 数据集: 应用: NLG简介: 我们认为NLP = NLU + NLG,NLU-Neural Language Understanding指的自然语言理解,NLG-N.转载 2021-04-07 09:39:50 · 841 阅读 · 0 评论 -
Data2Text 综述
最近看了很多这方面的论文,尝试做个总结。 早期发展路线 早期的文本生成系统多是基于规则的,Reiter等对规则系统进行了归纳总结【1】,认为文本生成系统可以分为三个较为独立的模块:(1)内容规划(Content planning),即选择描述哪些数据记录或数据域;(2)句子规划(Sentence planning),即决定所选择的数据记录或数据域在句子中的顺序;(3)句子实现(Surface realization),即基于句子规划的结果生成实际的文本。可以认为...转载 2021-04-07 09:35:10 · 895 阅读 · 0 评论 -
GPU 显存不足的讨论(有用转载)
前言 最近跑的模型都比较大,尤其是Bert, 这真的是难为我 1080ti 了, 在Bert的Example中,官方提供了一些 Trick 来帮助我们加速训练,很良心, 但感觉还不够,于是花费一些时间整理出一个 Trick 集合,来帮助我们在显存不足的时候来嘿嘿嘿。 本文分为两大部分,第一部分引入一个主题:如何估计模型所需显存, 第二个主题:GPU显存不足时的各种 Trick 。 监控 GPU 监控GPU最常用的当然是 nvidia-smi ,但...转载 2021-03-12 13:31:16 · 654 阅读 · 2 评论 -
[DL笔记] Attention机制
本文主要对Attention机制进行了简单的介绍。1. 介绍(1)人脑对信息的过滤其实就是一种注意力机制。注意力机制一般分为两种:聚焦式(Focus)注意力:是一种自上而下的有意识的注意力;显著性(Saliency-Based)注意力:是一种自下而上的无意识的注意力。(2)目前的神经网络中,可以将 池化(max pooling)、门控(Gating) 近似看作是自下而上的基于显著性的注意力机制;而接下来描述的则是自上而下的聚焦式注意力机制。(3)注意力分布: 为了从个输入向量中选择出和某个特定任务相关的信息转载 2021-01-27 12:38:18 · 599 阅读 · 0 评论 -
LSTM调参经验(细读)
0、开始训练之前先要做些什么?在开始调参之前,需要确定方向,所谓方向就是确定了之后,在调参过程中不再更改1、根据任务需求,结合数据,确定网络结构。例如对于RNN而言,你的数据是变长还是非变长;输入输出对应关系是many2one还是many2many等等,更多结构参考如下 非RNN的普通过程,从固定尺寸的输入到固定尺寸的输出(比如图像分类)输出是序列(例如图像标注:输入是一张图像,输出是单词的序列)输入是序列(例如情绪分析:输入是一个句子,输出是对句子属于正面还是负面情绪的分类)...转载 2020-12-30 12:26:55 · 8984 阅读 · 0 评论 -
中文查不到然后自己总结的NLP知识
注:用作个人笔记,不保证正确性。有心让中文有更多的博客,但没太有时间整理,希望氛围能越来越好吧!SARI : 一种文本生成的评价方法,主要从词共现的角度衡量操作,来源于论文:Automatic annotation and evaluation of error types for grammatical error correction.中心思想如图:re-rank 或者 re-score:一种优化生成结果的方法:主要是由于单方向容易受分布偏差的影响,于是训练两个模型:left2right 和原创 2020-12-14 18:08:23 · 339 阅读 · 0 评论 -
博客链接记录
关于LSTM的原理:http://colah.github.io/posts/2015-08-Understanding-LSTMs/原创 2020-12-10 11:52:12 · 213 阅读 · 0 评论 -
AAAI 2020 NLP 语法纠错相关论文笔记
MaskGEC: Improving Neural Grammatical Error Correction via Dynamic MaskingMotivationNMT methods need a fairly large parallel corpus of error-annotated sentence pairsOur methodsadding random masks to the original source sentences dynamicallyin the trai原创 2020-11-24 22:59:52 · 669 阅读 · 0 评论 -
句法分析 syntactic parsing 课堂笔记
原创 2020-11-24 17:47:19 · 813 阅读 · 0 评论 -
神经机器翻译中有用的技巧
本篇总结神经机器翻译的实践中,较为基础的最佳实践。应该使用哪个模型作为基线Transformer是2017年发布的模型,即使到2020年仍然是比较好的基线模型,大热的BERT就是其升级版。代码地址Fairseq这里实际推荐比较使用Fairseq指定arch为Transformer,按照官方教程直接就可以跑起来。为了便于理解和快速使用Fairseq,也可以浏览一些中文博客:利用Fairseq训练新的机器翻译模型 - 冬色 - 博客园,Fairseq-快速可扩展的序列建模工具包 - 冬色...转载 2020-11-05 20:15:21 · 792 阅读 · 0 评论 -
深入理解NLP Subword算法:BPE、WordPiece、ULM
CHANGLOG4/18/2020,规范化引用3/27/2020,新增目录。前言Subword算法如今已经成为了一个重要的NLP模型性能提升方法。自从2018年BERT横空出世横扫NLP界各大排行榜之后,各路预训练语言模型如同雨后春笋般涌现,其中Subword算法在其中已经成为标配。所以作为NLP界从业者,有必要了解下Subword算法的原理。目录与传统空格分隔tokenization技术的对比Byte Pair EncodingWordPieceUnigram Language Model总结1. 与传统转载 2020-11-04 23:24:39 · 987 阅读 · 0 评论 -
Text Summarization with Pretrained Encoders 论文笔记
Text Summarization with Pretrained Encoders大致介绍我们的工作是将bert用于文本摘要,并提出了生成式和抽取式文本摘要模型的框架我们提出了基于bert的文档级的编码器抽取式模型在这个编码器后面加了几个transformer层生成式模型:我们提出新的微调方法(对encoder和decoder不一样)来缓解两者的不匹配(encoder被pretrain过)综合两种方式的方法:微调两次,都微调我们的贡献:突出了文档编码的重要性(相对于近年来的复制原创 2020-10-24 15:29:39 · 914 阅读 · 0 评论 -
Encode, Tag, Realize High-Precision Text Editing 论文笔记
Encode, Tag, Realize High-Precision Text Editing大致介绍把文本生成任务看做文本编辑。有:keep,delete,add(before)。novel model:combines a BERT encoder with an autoregressive Transformer decoder四个任务:sentence fusion, sentence splitting, ab-stractive summarization, and grammar原创 2020-10-24 15:24:00 · 554 阅读 · 0 评论 -
An Empirical Study of Incorporating Pseudo Data into Grammatical Error Correction 论文笔记
An Empirical Study of Incorporating Pseudo Data into Grammatical Error CorrectionMotivationWe tackle GEC as MT, but EncDec requires a large amount of training data. So the method of augmenting the data by incorporating pseudo training data has been studi原创 2020-10-15 22:36:37 · 478 阅读 · 0 评论 -
BLEU 评价 NLP 文本输出质量
登录/注册 首页 直播 专题 电子书 话题 免费视频 技术博客 技术大会极客时间极客大学团队学习高端会员 研究报告转载 2020-09-06 12:04:18 · 1052 阅读 · 0 评论 -
Neural Machine Translation With PyTorch
一份自我感觉很好的入门教程,只是看了一遍,不知道日后会不会翻译一下直接复制粘贴来的,建议去看原文,见转载链接 Neural Machine Translation With PyTorch Tutorial 1: Encoder-Decoder Jul 8, 2018 Recently I did a workshop about Deep Learning for Natural Langua转载 2020-09-03 09:43:45 · 339 阅读 · 0 评论 -
seq2seq中的beam search算法过程
在sequence2sequence模型中,beam search的方法只用在测试的情况,因为在训练过程中,每一个decoder的输出是有正确答案的,也就不需要beam search去加大输出的准确率。假设现在我们用机器翻译作为例子来说明,我们需要翻译中文“我是中国人”--->英文“I am Chinese”假设我们的词表大小只有三个单词就是I am Chinese。那么如果我们的beam size为2的话,我们现在来解释,如下图所示,我们在decoder的过程中,有了beam search方法后,在转载 2020-09-01 19:28:55 · 434 阅读 · 0 评论 -
Is Word Segmentation Necessary for Deep Learning of Chinese Representations? 论文笔记
Is Word Segmentation Necessary for Deep Learning of Chinese Representations?分词带来的问题词的稀疏性,很多词仅出现一次,引起过拟合和OOV问题汉语的vague带来分词的困难,不同分词器不同结果据说分词会带来更多的语义信息,但目前不能确定,因为语料库太小而不能看到性能的提升深度学习前在IR、MT等领域,分词对模型的效果都没有明显的提高-或不一定提高。在认知科学里面,眼动实验中,读字跟读词一样快深度学习的实验MT、原创 2020-08-01 08:27:48 · 566 阅读 · 0 评论 -
语法纠错的研究现状
引言语法纠错(Grammatical Error Correction, GEC)是自然语言处理领域中的一个重要任务,GEC任务要求检测一句话中是否有语法错误,并自动将检测出的语法错误进行纠正,GEC在文本校对、外文学习辅助中都有重要的应用。下面是一个语法纠错任务的示例,在这句话中,加粗的形容词absolute应该修改为副词absolutely。目前语法纠错任务主要是采用类似于机器翻译任务的Seq2Seq框架来实现的。具体来说,输入的错误句子为源语句,输出正确的句子为目标语句。例如下图中,“A B C D”转载 2020-07-28 11:04:34 · 3475 阅读 · 0 评论 -
NLP中的alignment 对齐 的理解
个人理解,Alignment 本意有“对齐”的意思。在NLP的许多task中,对齐是个重要的subtask。比如说题主例子:John bought books.John purchase books.这里bought和purchase在语法和词义上都是等价的,这便是一种对齐。更多的情况发生在translation,paraphrase中,比如:Emma burst into tears and he tried to comfort her.Emma cried and he tried to c转载 2020-07-23 09:20:10 · 5253 阅读 · 1 评论 -
深度学习中的注意力机制的理解
文章禁止转载,只能记录链接在此了:https://zhuanlan.zhihu.com/p/53036028原创 2020-07-23 09:16:04 · 413 阅读 · 0 评论 -
NLP的任务概述
本文整理自网络,主要是对自然语言处理能发展和落地的方向进行总结,也算是对自然语言处理常见任务的总结。NLP的四大任务如下:序列标注任务分类任务句子关系判断生成式任务1. 序列标注任务序列标注(Sequence labeling)是我们在解决NLP问题时经常遇到的基本问题之一。在序列标注中,我们想对一个序列的每一个元素标注一个标签。一般来说,一个序列指的是一个句子,而一个元素指的是句子中的一个词。比如信息提取问题可以认为是一个序列标注问题,如提取出会议时间、地点等。序列标注一般可以分为两类:原始标注(Raw转载 2020-07-14 22:41:24 · 4019 阅读 · 0 评论