NLP
文章平均质量分 96
咕叽咕叽小菜鸟
幸福的深度等于等待的长度。。。fighting!!!
展开
-
实体链指(3)EL:End-to-End
前面已经由一篇综述大致了解了Entity Linking的定义和任务框架,以及对Disambiguation-Only 的2篇具有代表性的论文进行了介绍,本篇主要介绍End-to-End的两篇代表性论文。原创 2022-09-04 21:18:25 · 528 阅读 · 1 评论 -
实体链指(2)EL:Disambiguation-Only
本篇主要了介绍了Disambiguation-Only实体链指任务的具有代表性的2篇论文:《Neural Cross-Lingual Entity Linking》和《Scalable Zero-shot Entity Linking with Dense Entity Retrieval》原创 2022-09-04 16:47:40 · 707 阅读 · 1 评论 -
实体链指(1)Entity Linking 综述
实体链接(entity linking)任务是指识别出文本中的提及(mention)、确定mention的含义并消除其可能存在的歧义,然后建立该mention到 知识库(KB)中实体(entity)的链接,从而将非结构化数据连接到结构化数据的过程。原创 2022-09-03 18:59:48 · 3080 阅读 · 0 评论 -
论文笔记-Vanilla Transformer:Character-Level Language Modeling with Deeper Self-Attention
论文笔记-Vanilla Transformer:Character-Level Language Modeling with Deeper Self-Attention1. 介绍2. Character Transformer Model3. 3种辅助loss3.1 Multiple Positions3.2 Intermedia Layer Losses3.3 Multiple Targets4. 实验4.1 训练和数据4.2 结果(消融实验)4.3 Qualitative Analysis 定性分析参原创 2021-03-03 12:37:48 · 4509 阅读 · 0 评论 -
BiLSTM-CRF实现中文命名实体识别(NER)
BiLSTM-CRF实现命名实体识别(NER)完整代码地址参考本博客中使用到的完整代码请移步至: 我的github:https://github.com/qingyujean/Magic-NLPer,求赞求星求鼓励~~~HMM系列文章:条件随机场(CRF)原理小结(1)条件随机场(CRF)原理小结(2)BiLSTM-CRF实现命名实体识别(NER)完整代码地址完整代码请移步至: 我的github:https://github.com/qingyujean/Magic-NLPer,求赞求星求鼓原创 2021-02-11 00:35:06 · 6088 阅读 · 33 评论 -
条件随机场(CRF)原理小结(2)
条件随机场(CRF)原理小结(2)6. 线性链CRF的3个基本问题6.1 问题1:概率计算问题6.1.1 前向-后向算法6.1.2 概率计算6.1.3 期望值的计算6.2 问题2:学习问题6.2.1 改进的迭代尺度法6.2.2 梯度下降法6.3 问题3:预测问题维特比算法描述模型评价完整代码地址参考本博客中使用到的完整代码请移步至: 我的github:https://github.com/qingyujean/Magic-NLPer,求赞求星求鼓励~~~HMM系列文章:条件随机场(CRF)原理小结(原创 2021-02-10 17:34:05 · 356 阅读 · 1 评论 -
条件随机场(CRF)原理小结(1)
条件随机场(CRF)原理小结(1)1. CRF学习方法简要概括2. 相关概念2.1 概率图模型2.1.1 有向概率图模型(贝叶斯网)2.1.2 无向概率图模型(马尔科夫网)2.1.3 有向图、无向图模型比较2.2 生成式模型 vs 判别式模型两种模型比较2.3 RF→\rightarrow→MRF→\rightarrow→CRF→\rightarrow→linear chain CRF2.3.1 随机场(RF)2.3.2 马尔科夫随机场(MRF)2.3.3 条件随机场(CRF)2.3.4 线性链条件随机场(原创 2021-02-10 16:53:49 · 965 阅读 · 1 评论 -
手撸HMM实现词性标注(Part-of-speech)
手撸HMM实现词性标注(Part-of-speech)1. 环境准备2. 使用HMM 实现词性标注2.1 句子开始和结束标记2.2 问题2--HMM参数估计:统计词频计算概率(1)发射概率估计(2)转移概率估计(3)初始状态概率分布问题1--求解观测序列概率2.3 问题3--预测问题:vitervi算法实现(1)初始化(2)递推(3)终止(4)最优路径回溯完整代码地址本博客中使用到的完整代码请移步至: 我的github:https://github.com/qingyujean/Magic-NLPer,求原创 2021-02-02 21:05:32 · 1780 阅读 · 0 评论 -
隐马尔科夫模型(HMM)原理小结(2)
隐马尔科夫模型(HMM)原理小结(2)4. 基本问题二:学习问题 模型参数估计 λ=(A,B,π)\lambda=(A,B,\pi)λ=(A,B,π)4.1 监督学习方法(1)转移概率aija_{ij}aij的估计(2)观测概率bj(k)b_j(k)bj(k)的估计(3)初始状态概率πi\pi_iπi的估计4.2 无监督学习方法:Baum-Welch算法(EM)4.2.1 确定完全数据的对数似然函数4.2.2 E步:求QQQ函数Q(λ∣λˉ)Q(\lambda|\bar{\lambda})Q(λ∣λˉ原创 2021-02-02 21:04:20 · 616 阅读 · 0 评论 -
隐马尔科夫模型(HMM)原理小结(1)
隐马尔科夫模型(HMM)原理小结1. 什么是马尔科夫链1.1 马尔科夫过程1.2 k阶马尔科夫链1.3 1阶马尔科夫链2. 什么是隐马尔可夫链(HMM)2.1 HMM基本定义2.2 HMM的2个基本假设(1)齐次马尔科夫性假设(2)观测独立性假设2.3 观测序列的生成过程2.4 HMM的3个基本问题3. 基本问题一:观测序列概率P(O∣λ)P(O|\lambda)P(O∣λ)计算3.1 直接计算3.2 前向算法3.3 后向算法3.4 前向-后向概率 统一表示P(O∣λ)P(O|\lambda)P(O∣λ)3原创 2021-02-02 21:02:44 · 656 阅读 · 0 评论 -
transformer(下)机器翻译+pytorch实现
transformer(下)机器翻译(pytorch实现)说在前面实验环境1.加载数据 建立input pipeline2.位置编码 positional encoding3.掩码 masking4.scaled dot product attention5.multi-head attention6.point wise feed forward network7.encoder layer8.decoder layer9.encoder10.decoder11.搭建transformer12.设置超参1原创 2021-03-07 14:05:03 · 12572 阅读 · 27 评论 -
transformer(上)论文解读+pytorch实现
self-attention && transformer(上)论文解读和模型原理1. 背景2. 模型架构2.1 scaled dot-product attention2.2 multi-head attention2.3 transformer使用的3种attention2.4 point-wise feed-forward net2.5 positional embedding2.6 maskingencoder-layer以及encoderdecoder-layer以及decoder原创 2020-12-16 17:17:22 · 4404 阅读 · 8 评论 -
ELMo论文笔记+源码分析
ELMo论文笔记+源码分析1. 论文精读1.1 阶段1:预训练过程1.2 阶段2:应用到下游NLP task1.3 ELMo优势2. 源码分析2.1 使用elmo能得到什么2.2 elmo内部执行流程3. ELMo应用到文本分类4. 参考1. 论文精读1.1 阶段1:预训练过程ELMo的预训练过程就是常见的语言模型(Language Model,简称LM)的训练过程:从句子中学习预测next word,从而学习到对语言的理解的任务。语言模型的学习通常得益于海量的无需标注的文本数据。ELMo是双向语言原创 2020-11-29 20:32:29 · 4260 阅读 · 3 评论 -
FastText调参:GridSearch+CV
文章目录1. FastText之train_supervised参数说明2. 参数选择实现:网格搜索+交叉验证2.1 my_gridsearch_cv主方法2.2 get_gridsearch_params2.3 get_KFold_scores2.4 使用示例3. 完整代码1. FastText之train_supervised参数说明input_file 训练文件路径(必须)model skipgram或者CBOW default skipgramlr原创 2020-10-03 22:21:10 · 1971 阅读 · 1 评论 -
EDA文本增强及其在文本分类上的提升验证
EDA文本增强及其在文本分类上的提升验证1. 论文精读1.1 什么是EDA1.2 注意点1.2.1 关于n的取值1.2.2 一个文本产生几个增强?1.2.3 注意和限制1.3 结论2. 实验2.1 说明2.2 实验代码3. 完整代码参考1. 论文精读1.1 什么是EDA EDA(Easy Data Augmentation):为NLP提供了一套简单的通用数据增强技术,即4个simple but powerful操作:对于训练集中一个给定的句子,我们随机\color{#FF3030}{随机}原创 2020-10-03 15:08:44 · 1292 阅读 · 11 评论