自然语言处理与生成
文章平均质量分 72
沙漠之狐MSFollower
在读博士生,研究方向包括多模态智能、机器学习、图学习、自然语言处理。期待与有共同爱好的同学一起发现信息化世界的美好。
展开
-
依存解析工具(百度DDParser)
本文是对百度DDParser中文解析工具的安装和使用进行介绍。原创 2022-10-10 17:09:22 · 1554 阅读 · 2 评论 -
多任务联合训练,出现Nan的问题
关于pytorch多任务训练loss=nan的问题原创 2022-09-13 23:03:13 · 747 阅读 · 0 评论 -
Pytorch中的DataLoader处理机制
# 该代码主要是为了讲解介绍Dataloader的工作机制# 任何Dataset数据类的子类,并重写相关的函数class NerDataset(data.Dataset): # 将需要的参数进行初始化 def __init__(self, examples, tokenizer, label_map, max_seq_length): self.examples=examples self.tokenizer=tokenizer self.原创 2021-08-09 12:10:17 · 824 阅读 · 0 评论 -
在NLTK中使用StanfordNLP的功能以及单独安装StanfordNLP
一 在NLTK中使用StanfordNLP的功能1 安装nltk:使用以下命令进行安装,pip install nltk参考2 导入nltk数据:import nltknltk.download()因为网速原因,nltk.download()很慢甚至不成功。这时,我们记住nltk.download()运行时产生的图形界面中Download Directory地址。3 下载NLTK官网上的packages包,并将其解压后名称改为nltk_data。将该包放入2记录的地.原创 2021-07-14 20:41:56 · 1349 阅读 · 0 评论 -
基于深度学习的依存句法分析
依存分析,主要包括两种方法:Transition-based on Tree,Transition-based on Graph原创 2020-04-14 14:27:52 · 2772 阅读 · 0 评论 -
基于深度学习的知识图谱构建(简要综述)
1简介 信息技术的发展不断推动着互联网技术的变革,Web技术作为互联网时的标志性技术,正处于这场技术变的核心。从网页的链接到数据的链接,Web技术正在逐步朝向Web之父Berners-Lee设想中的语义网络演变。语义网络是一张数据构成的网络,语义网络技术向用户提供的是一个查询环境,其核心要义是以图形的方式向用户返回经过加工和推理的知识。而知识图谱技术则是实现智能化语义检索的基础...原创 2020-04-07 18:00:57 · 7861 阅读 · 0 评论 -
关于ELMo、Transformer及Bert的部分疑难问题解答
关于transformer的原理介绍,有很多地方有详细的解答,本文中我针对具体的问题,贴出一些相关的链接。transfer learning:针对自然语言的fine-tuning指的是XXX;Transformer在机器翻译中的decoder:1)在进行translation操作时,会在解码器的开始输入start token,来便于后续生成;2)在encoder-decoder的阶段,deco...原创 2020-04-06 22:18:38 · 817 阅读 · 0 评论 -
使用KenLM训练统计语言模型并使用模型(based on Linux14.04)
参考文档: http://thegrandjanitor.com/2015/12/28/using-arpa-lm-with-python/ https://www.52ml.net/4816.html http://www.cnblogs.com/apexchu/p/5015961.html http原创 2017-10-17 22:01:08 · 4044 阅读 · 3 评论