![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
DeepLearning
文章平均质量分 96
咕叽咕叽小菜鸟
幸福的深度等于等待的长度。。。fighting!!!
展开
-
实体链指(3)EL:End-to-End
前面已经由一篇综述大致了解了Entity Linking的定义和任务框架,以及对Disambiguation-Only 的2篇具有代表性的论文进行了介绍,本篇主要介绍End-to-End的两篇代表性论文。原创 2022-09-04 21:18:25 · 492 阅读 · 1 评论 -
实体链指(2)EL:Disambiguation-Only
本篇主要了介绍了Disambiguation-Only实体链指任务的具有代表性的2篇论文:《Neural Cross-Lingual Entity Linking》和《Scalable Zero-shot Entity Linking with Dense Entity Retrieval》原创 2022-09-04 16:47:40 · 687 阅读 · 1 评论 -
实体链指(1)Entity Linking 综述
实体链接(entity linking)任务是指识别出文本中的提及(mention)、确定mention的含义并消除其可能存在的歧义,然后建立该mention到 知识库(KB)中实体(entity)的链接,从而将非结构化数据连接到结构化数据的过程。原创 2022-09-03 18:59:48 · 2630 阅读 · 0 评论 -
论文笔记-Vanilla Transformer:Character-Level Language Modeling with Deeper Self-Attention
论文笔记-Vanilla Transformer:Character-Level Language Modeling with Deeper Self-Attention1. 介绍2. Character Transformer Model3. 3种辅助loss3.1 Multiple Positions3.2 Intermedia Layer Losses3.3 Multiple Targets4. 实验4.1 训练和数据4.2 结果(消融实验)4.3 Qualitative Analysis 定性分析参原创 2021-03-03 12:37:48 · 4058 阅读 · 0 评论 -
BiLSTM-CRF实现中文命名实体识别(NER)
BiLSTM-CRF实现命名实体识别(NER)完整代码地址参考本博客中使用到的完整代码请移步至: 我的github:https://github.com/qingyujean/Magic-NLPer,求赞求星求鼓励~~~HMM系列文章:条件随机场(CRF)原理小结(1)条件随机场(CRF)原理小结(2)BiLSTM-CRF实现命名实体识别(NER)完整代码地址完整代码请移步至: 我的github:https://github.com/qingyujean/Magic-NLPer,求赞求星求鼓原创 2021-02-11 00:35:06 · 5865 阅读 · 33 评论 -
transformer(下)机器翻译+pytorch实现
transformer(下)机器翻译(pytorch实现)说在前面实验环境1.加载数据 建立input pipeline2.位置编码 positional encoding3.掩码 masking4.scaled dot product attention5.multi-head attention6.point wise feed forward network7.encoder layer8.decoder layer9.encoder10.decoder11.搭建transformer12.设置超参1原创 2021-03-07 14:05:03 · 12208 阅读 · 27 评论 -
transformer(上)论文解读+pytorch实现
self-attention && transformer(上)论文解读和模型原理1. 背景2. 模型架构2.1 scaled dot-product attention2.2 multi-head attention2.3 transformer使用的3种attention2.4 point-wise feed-forward net2.5 positional embedding2.6 maskingencoder-layer以及encoderdecoder-layer以及decoder原创 2020-12-16 17:17:22 · 4191 阅读 · 8 评论 -
ELMo论文笔记+源码分析
ELMo论文笔记+源码分析1. 论文精读1.1 阶段1:预训练过程1.2 阶段2:应用到下游NLP task1.3 ELMo优势2. 源码分析2.1 使用elmo能得到什么2.2 elmo内部执行流程3. ELMo应用到文本分类4. 参考1. 论文精读1.1 阶段1:预训练过程ELMo的预训练过程就是常见的语言模型(Language Model,简称LM)的训练过程:从句子中学习预测next word,从而学习到对语言的理解的任务。语言模型的学习通常得益于海量的无需标注的文本数据。ELMo是双向语言原创 2020-11-29 20:32:29 · 4107 阅读 · 3 评论 -
FastText调参:GridSearch+CV
文章目录1. FastText之train_supervised参数说明2. 参数选择实现:网格搜索+交叉验证2.1 my_gridsearch_cv主方法2.2 get_gridsearch_params2.3 get_KFold_scores2.4 使用示例3. 完整代码1. FastText之train_supervised参数说明input_file 训练文件路径(必须)model skipgram或者CBOW default skipgramlr原创 2020-10-03 22:21:10 · 1888 阅读 · 1 评论 -
EDA文本增强及其在文本分类上的提升验证
EDA文本增强及其在文本分类上的提升验证1. 论文精读1.1 什么是EDA1.2 注意点1.2.1 关于n的取值1.2.2 一个文本产生几个增强?1.2.3 注意和限制1.3 结论2. 实验2.1 说明2.2 实验代码3. 完整代码参考1. 论文精读1.1 什么是EDA EDA(Easy Data Augmentation):为NLP提供了一套简单的通用数据增强技术,即4个simple but powerful操作:对于训练集中一个给定的句子,我们随机\color{#FF3030}{随机}原创 2020-10-03 15:08:44 · 1276 阅读 · 11 评论 -
Focal Loss原理以及代码实现和验证(tensorflow2)
Focal Loss论文解读和代码验证Focal Loss1. Focal Loss论文解读1.1 CE loss1.2 balanced CE loss1.3 focal loss2. tensorflow2验证focal loss2.1 focal loss实现3. 实现结果说明4. 完整代码参考Focal Loss1. Focal Loss论文解读 原论文是解决目标检测任务中,前景(或目标)与背景像素点的在量上(1:1000)以及分类的难易程度上的极度不均衡,而导致的one-stage d原创 2020-09-20 23:19:05 · 2714 阅读 · 2 评论