NLP
关注
分享
扫一扫
文章平均质量分 63
本专栏总结NLP中常见的问题，诸如源码阅读系列（sklearn,pytorch等）；经典论文（Attention,BERT等）阅读系列
说文科技
同名公众号【说文科技】，做有态度的研究。
展开
-
【经典论文阅读20】《Distilling the Knowledge in a Neural Network》
介绍Hinton写的蒸馏大作。原创 2023-07-16 20:37:22 · 1188 阅读 · 0 评论 -
《论文阅读》Unified Named Entity Recognition as Word-Word Relation Classification
使用关系抽取的方法来解决NER抽取。（一篇统一解决了Flat，Nested，Discontinuous 三种NER场景的工作）。原创 2023-04-10 13:52:19 · 1297 阅读 · 3 评论 -
算法工程师面试各大预训练模型的对比
还在为面试官考察各个预训练模型而犯愁吗，本文详细对比各个预训练模型，带你从头捋清楚！原创 2022-08-11 21:10:53 · 692 阅读 · 1 评论 -
【源码解读】BertLayer
详解阅读BertLayer的内部代码，模型是怎么得到最后的输出？BERT中的transformer真如《Attention is all your need》中的transformer架构吗？原创 2022-05-01 14:44:05 · 902 阅读 · 0 评论 -
BERT最终的输出真的好用吗？
BERT最终的输出如CLS真的好用吗？原创 2022-03-24 15:28:10 · 4031 阅读 · 0 评论 -
dgl中创建异质图的坑点
dgl创建异质图的坑点：在使用不同形式的传入参数时，得到的结果是不同的。原创 2022-01-23 19:47:03 · 641 阅读 · 0 评论 -
RGCN中的基分解
详述RGCN 中的基分解技术原创 2022-01-21 17:13:28 · 1702 阅读 · 0 评论 -
模型训练中的常用脚本
删除模型的脚本原创 2022-01-10 09:19:02 · 809 阅读 · 0 评论 -
NLP中那些没用的idea
NLP中那些没用的idea，这里的实验会减少你走的弯路。原创 2021-12-29 10:25:34 · 676 阅读 · 0 评论 -
one of the variables needed for gradient computation has been modified by an inplace operation 报错处理
前言文章来源：CSDN@LawsonAbs待更新one of the variables needed for gradient computation has been modified by an inplace operation使用R-drop 将得到的两个logits进行计算时，发现这个label.to(logits)会导致这个出错。具体的代码如下：...原创 2021-12-21 01:23:57 · 252 阅读 · 0 评论 -
pytorch中log_softmax的实现
pytorch中的log_softmax 是怎么实现的？让你以后不再担心函数实现。原创 2021-12-18 23:07:58 · 11975 阅读 · 2 评论 -
算法工程师面试之归一化操作
归一化操作是深度学习中非常重要的一个操作，深度学习中常用的归一化操作有layer normalization和 batch normalization。原创 2021-12-15 20:47:09 · 657 阅读 · 0 评论 -
预训练模型详解
预训练模型是什么？为什么预训练模型大行其道？原创 2021-12-15 20:35:37 · 5841 阅读 · 1 评论 -
算法工程师面试之word2vec
word2vec 是NLP领域的重要技术方法，可以说它开启了embedding的大门，并引领nlp进入了黄金时代。同时，即使一个简单似skip-gram的模型，也包含了整个神经网络的核心步骤，建模+损失函数+优化器，一定要搞懂关键步骤是什么，而不能只浮于表面。原创 2021-12-15 20:33:21 · 1056 阅读 · 0 评论 -
论文阅读《Knowing False Negatives》
一种针对远监督关系抽取的对抗训练方式，同时结合了对比学习。感觉有点儿大杂烩的意思，但是文章写的还是很清楚的，作者思路比较清晰。原创 2021-09-28 23:33:11 · 480 阅读 · 0 评论 -
论文阅读《A Partition Filter Network for Joint Entity and Relation Extraction》
用剪刀硬生生的将神经元分割，并指定其某一部分为Entity识别服务，一部分为Relation服务，然后剩下的一部分为二者服务，这一部分成为 Share区，这么反直觉的一个方法真的有效吗？原创 2021-09-28 09:40:23 · 921 阅读 · 0 评论 -
论文阅读《Exploring Task Difficult for Few-Shot Relation Extraction》
本工作是meta-learning+contrasive learning 在few-shot relation extraction 上的应用，没怎么看懂，不推荐。原创 2021-09-28 08:59:28 · 648 阅读 · 0 评论 -
pytorch中计算loss的函数总结
总结pytorch中常用的几种loss形式，并给出对应的解释和使用。原创 2021-09-15 21:33:33 · 2449 阅读 · 0 评论 -
NLP算法竞赛心得
结合自身案例详细解释深度学习算法竞赛中的主要步骤，并给出一些坑点。原创 2021-09-14 16:42:36 · 706 阅读 · 0 评论 -
模型训练中loss下降陡升的原因
模型训练过程中的loss陡升，到底是什么问题导致的呢？是灾难性遗忘吗？抱歉，恕我直言，你现在写的代码和那么一点儿数据量，很难导致灾难性遗忘~ 那么大概率就是你写的bug导致的！原创 2021-09-20 20:10:11 · 5678 阅读 · 0 评论 -
使用pytorch实现AI中的常见方法
本专题志在使用pytorch实现深度学习、机器学习中常用的各种函数，如BCELoss，CrossEntropyLoss，Attention，此举不仅可以帮助大家理解算法/神经网络结构原理，更能够迅速提高AI编程能力。原创 2021-09-13 20:23:49 · 426 阅读 · 0 评论 -
信息抽取中常用的数据集
IE（信息抽取）作为NLP中的一个基础任务，承担着一个非常 重要的角色，本文系统介绍了一下IE任务中常用的数据集。原创 2021-09-12 19:19:30 · 2002 阅读 · 0 评论 -
算法工程师面试之评测指标
深度学习工作中有哪些常用的性能评测指标，他们的计算方式是什么？有什么区别吗？原创 2021-09-09 12:05:16 · 616 阅读 · 0 评论 -
使用TF-IDF+逻辑回归完成分类
使用TF-IDF挑选高频词，并使用逻辑回归进行分类原创 2021-09-06 13:41:15 · 667 阅读 · 0 评论 -
算法工程师面试之PCA降维
PCA降维以及其在文本领域的使用。原创 2021-09-05 21:37:52 · 310 阅读 · 0 评论 -
算法工程师面试之Batch Normalization和 Layer Normalization
详述Batch Normalization 和 Layer Normalization的由来、各自优缺点。原创 2021-08-26 13:28:05 · 577 阅读 · 0 评论 -
算法工程师面试之循环神经网络RNN
详细分析RNN，优缺点，以及RNN由来，RNN当前存在什么问题？由RNN改进得到的网络又有哪些？原创 2021-08-21 16:05:42 · 248 阅读 · 0 评论 -
算法工程师面试之卷积神经网络
详细解释CNN网络，以及CNN网络中卷积的计算过程。原创 2021-08-21 11:39:59 · 703 阅读 · 1 评论 -
论文阅读《Alexa Conversations》
第一篇对话方向的论文，读的是吞吞吐吐。原创 2021-08-15 21:55:57 · 578 阅读 · 0 评论 -
论文阅读《 AutoTinyBERT》
在将BERT等预训练模型应用到低资源的移动设备时，常常会因为模型size以及推理速度不够的原因而搁浅！本文就探索一种高效的结构参数优化去解决TinyBERT 应用的问题，主要的方法就是one-shot learning + search。原创 2021-08-13 14:11:08 · 1779 阅读 · 2 评论 -
Casrel，TPlinker，PRGC三者模型比较
简单介绍Casrel，TPlinker，PRGC三个模型，分析其时间复杂度。尝试寻找一种更加快速的编码方法获取文本特征，从而加快模型训练和推理速度，使其更好地应用于即时处理。原创 2021-08-06 16:16:34 · 2654 阅读 · 1 评论 -
算法工程师面试之集束算法(beam search)
详细介绍beam search 算法的产生原因和思想，并结合实例详细揭示使用过程。原创 2021-07-17 15:47:13 · 787 阅读 · 2 评论 -
算法工程师面试之BPE算法
NLP算法工程师面试之BPE算法。BPE算法是一种subword方法，该算法的主要步骤是：挑选语料库中出现频率最高的两个字符串对（byte-pair），用二者的组合不断地替换原来空格分割的两个字符串，更新该word。循环这个步骤k次，得到一个目标词表（使用这个目标词表处理后面遇到的数据）。原创 2021-07-17 15:08:29 · 1297 阅读 · 3 评论 -
算法工程师面试之fastText算法
算法面试工程师面试之fastText算法。本文详细介绍了fastText算法的基础知识如Hierarchical softmax 和N-gram。同时也给出了fastText 的一个基本介绍。原创 2021-07-12 21:41:37 · 562 阅读 · 0 评论 -
论文阅读《SPANNER: Named Entity Re-/Recognition as Span Prediction》
本文深度挖掘基于span预测的NER模型。在揭示span预测的模型效果优异之外，还从数个方面证明其可以作为一种system combiner的原因。结合丰富大量的实验，证明SpanNER是目前解决NER问题的sota方式。原创 2021-07-11 22:25:42 · 2366 阅读 · 3 评论 -
论文阅读《TPLinker: Single-stage Joint Extraction of Entities and Relations Through Token Pair Linking》
信息抽取最新sota模型TPLinker阅读原创 2021-07-08 21:28:46 · 862 阅读 · 0 评论 -
论文阅读《Joint Extraction of Entities and Relations Based on a Novel Decompostion Strategy》
信息抽取论文阅读系列。本文提出了一种新的分解策略，将一个关系抽取任务分解成两个不同的子任务，然后使用序列标注的方法解决这个问题。原创 2021-07-08 20:44:23 · 497 阅读 · 0 评论 -
算法工程师（NLP）面试之关系抽取
算法工程师面试之关系抽取原创 2021-07-07 15:17:49 · 614 阅读 · 0 评论 -
论文阅读《Extracting Multiple-Relations in One-Pass with Pre-Trained Transformers》
通过修改transformer的基础结构去解决Multiple Relation Extraction（MRE）中的Multiple Pass问题原创 2021-07-02 21:59:24 · 378 阅读 · 5 评论 -
论文阅读《Do Transformers Really Perform Bad for Graph Representation?》
融合graph中的特征信息到Transformer中以获取足够表达能力的结构。原创 2021-07-02 10:24:55 · 1837 阅读 · 3 评论