自定义博客皮肤VIP专享

*博客头图：

格式为PNG、JPG，宽度*高度大于1920*100像素，不超过2MB，主视觉建议放在右侧，请参照线上博客头图

请上传大于1920*100像素的图片！

博客底图：

图片格式为PNG、JPG，不超过1MB，可上下左右平铺至整个背景

栏目图：

图片格式为PNG、JPG，图片宽度*高度为300*38像素，不超过0.5MB

主标题颜色：

RGB颜色，例如：#AFAFAF

Hover：

RGB颜色，例如：#AFAFAF

副标题颜色：

RGB颜色，例如：#AFAFAF

预览 取消 提交

自定义博客皮肤

-+
上一步保存

ljp1919的专栏

《采坑实录》、《搬砖心路历程》

我也要用
排序：
默认
按更新时间
按访问量
RSS订阅

原创 使用BERT对句子进行向量化(TensorFlow版和Pytorch版)

背景 用BERT对句子进行向量化 实施 TensorFlow版直接用肖涵博士的bert-as-service。使用方法真的很小白，简单概括为2点：server和client安装。 pip install bert-serving-server # server pip install bert-...

2020-06-06 20:22:51 277 1

原创 docker拉取的pytorch-gpu版找不到cuda和cudnn的位置，为何？

问题描述 pytorch 镜像位置： https://hub.docker.com/r/pytorch/pytorch/tags 拉取镜像： docker pull pytorch/pytorch:1.5-cuda10.1-cudnn7-runtime 查看本地现有镜像清单： 创建一个容器： ...

2020-05-19 11:01:46 401 0

原创 ICLR2020论文阅读笔记reformer: THE EFFICIENT TRANSFORMER
原力计划

0. 背景 机构：Google Research 、U.C. Berkeley 作者：Nikita Kitaev、Łukasz Kaiser、Anselm Levskaya 论文地址：https://arxiv.org/abs/2001.04451 收录会议：ICLR2020 论文代码：https...

2020-05-11 19:46:36 302 0

原创 文献阅读笔记electra: pre-training text encoders as discriminators rather than generators
原力计划

目录0. 背景0.1 摘要1. 介绍2. 方法3. 实验3.1 实验设置3.2 模型拓展3.3 Small版模型3.4 Large版模型3.5 有效性分析4. 总结 0. 背景 机构：斯坦福、Google Brain 作者：Kevin Clark、Minh-Thang Luong、Quoc V. ...

2020-05-09 18:54:20 179 0

原创 Rasa教程系列-Core-6-Slots

文章目录什么是槽位slotsRasa中如何使用Slots如何设置SlotsSlots Set from NLUSlots Set By Clicking ButtonsSlots Set by ActionsSlot TypesText SlotBoolean SlotCategorical Sl...

2020-01-17 14:34:16 573 0

原创 Rasa教程系列-Core-5-Policies

文章目录Configuring PoliciesMax HistoryData AugmentationAction SelectionKeras PolicyEmbedding PolicyMapping PolicyMemoization PolicyAugmented Memoization...

2020-01-16 11:57:15 417 0

原创 Rasa教程系列-Core-4-Actions

Actions(操作)是机器人对用户输入的响应，在Rasa有四种actions: (1)Utterance actions: 以utter_为前缀并向用户发送特定信息 (2)Retrieval actions: 以respond_为前缀，所发送的信息来自于 retrieval model (3)C...

2020-01-15 17:54:11 894 0

原创 Rasa教程系列-Core-3-Responses

如果希望助理响应用户消息，则需要管理这些响应。在机器人的训练数据中，通过stories指定机器人应该执行的操作。这些操作可以使用utterances将消息发送回用户。 有三种方法来管理这些utterances: (1)Utterances 存于Domain文件中，看这里 (2)检索动作响应是训练数...

2020-01-15 16:13:30 158 1

原创 Rasa教程系列-Core-2-Domains

Domain定义了机器人助手所处的世界。它指定了机器人应该知道的意图(intents)、实体(entities)、槽位(slots)和操作(actions)。另外，它还可以包含机器人能够说的内容的模板(templates)。 文章目录Domain示例自定义Actions 和SlotsUtteran...

2020-01-15 15:17:01 288 0

原创 Rasa教程系列-Core-1-Stories

Rasa Core 核心的对话引擎。先来介绍下训练数据的格式。Rasa stories 是一种用来训练Rasa的对话管理模型的数据形式。一个story 是用户和人工智能助手之间对话的表示，被转换为特定的格式，其中用户输入表示为相应的意图(和必要的实体)，而助手的响应表示为相应的action名称。R...

2020-01-14 17:53:34 551 0

原创 Rasa教程系列-NLU-4-组件

注意： 为了清晰起见，官方重新命名了预定义的管道，以反映它们做了什么，而不是在Rasa NLU 0.15中使用了哪些库。tensorflow_embed_embeddings管道现在称为supervised_embeddings, spacy_sklearn现在称为pretrained_embed...

2020-01-14 16:19:39 427 0

原创 Rasa教程系列-NLU-3-实体抽取

文章目录介绍自定义实体抽取位置、日期、人名、组织日期、金额、时长、距离和序号正则表达式将自定义特征传给CRFEntityExtractor 介绍 目前1.6.1版本支持的extractors如下： Component Requires Model Notes CRFEntityEx...

2020-01-13 18:21:32 509 0

原创 Rasa教程系列-NLU-2- 选择pipeline

文章目录1. 短answer2. 长answer2.1 pretrained_embeddings_spacy2.2 pretrained_embeddings_convert2.3 supervised_embeddings2.4 MITIE2.5 对比不同的pipelines3. 类别失衡4...

2020-01-13 16:25:39 550 0

原创 Rasa教程系列-NLU-1-训练集格式

文章目录1. 数据格式1.1 Markdown格式1.2 Json 格式2. 改善意图分类和实体识别2.1 常见示例(Common Examples)2.2 正则特征（Regular Expression Features）2.3 查找表（lookup tables）3. 标准化数据3.1 实体同...

2020-01-13 11:20:19 573 2

原创 Rasa教程系列-1-命令行交互

文章目录0. 背景1. 命令行速查表2. 训练模型3. 交互式学习4. Talk to Assistant5. 启动Rasa Server6. 启动 Action Server7. Stories的可视化8. 用test数据对模型进行评估9. 划分Train-test数据集10. Markdown...

2020-01-09 21:06:50 738 0

原创 Rasa教程系列-0-Rasa安装和项目创建

这里写自定义目录标题0. 背景1. 安装2. 创建新项目3. 查看NLU训练数据集4. 定义模型的配置5. 书写自己的Stories6. 定义 Domain7. 训练模型8. 与助手进行对话 0. 背景 事先说明：本系列Rasa教程基于Rasa 1.6.1版本。 Rasa是一个开源机器学习框架，可...

2020-01-09 17:35:41 871 0

原创 文献阅读笔记：NEZHA(Neural Contextualized Representation for Chinese Language Understanding)

0. 背景 机构：华为诺亚方舟实验室 作者：Junqiu Wei, Xiaozhe Ren等 面向任务：自然语言理解 论文地址：https://arxiv.org/abs/1909.00204 论文代码：https://github.com/huawei-noah/Pretrained-Langu...

2019-12-21 17:55:29 460 0

原创 多个neo4j服务共用同一个data目录

文章目录背景分析解决方案1：修改文件夹归属是否能够同时启动共用data目录的多个服务解决方案2：总结 背景 neo4j的data目录不能被多个启动服务读写。更具体来讲，data目录下仅能对一个neo4j服务提供磁盘数据。在data/databases有一个名为store_lock的文件，就是数据库...

2019-12-06 11:21:12 120 0

原创 文献阅读笔记：Unsupervised Cross-lingual Representation Learning at Scale(XLM-R)

0. 背景 机构：Facebook 作者：Alexis Conneau、Kartikay Khandelwal 获奖：EMNLP 2019 最佳论文 面向任务：跨语言理解 论文地址：https://arxiv.org/abs/1911.02116 论文代码：https://github.com/p...

2019-11-22 20:15:16 451 0

原创 同一台机器中启动多个neo4j数据库

文章目录0. 背景1. 默认方式启动neo4j2. 方案0：指定配置文件启动neo4j3. 方案1：使用多个安装文件4. 方案2：使用docker4.1 拉取 neo4j 镜像4.2 创建 neo4j 容器4.3 创建多个 neo4j 容器 0. 背景 对于大量节点和关系的知识图谱导入neo4j，...

2019-11-20 20:46:47 343 2

原创 概率图模型系列-1-从朴素贝叶斯和HMM说起

0. 背景 本系列博文尝试系统化地梳理概率图模型。本文以朴素贝叶斯和HMM为切入点尝试窥探概率图模型一二。 1. 预备知识 在介绍朴素贝叶斯之前，需要先简单介绍下概率论中的基础知识：条件概率、贝叶斯公式和全概率公式。 1.1 条件概率 当给定条件发生变化后，会导致事件发生的可能性发生变化。比如:背...

2019-11-18 08:43:24 152 0

原创 知识图谱系列-2-知识图谱发展历程及其分类

1. 知识图谱发展历程 知识图谱的发展可以从人工智能和语义网(注意语义网和语义网络是不同的)这两个领域进行追溯。在人工智能方面，人类致力于使计算机更智能，能够进行推理、分析、预测等高级思维活动。而知识图谱是该目标实现的一个工具，通过将人类的知识用计算机进行表示和组织，并设计相应算法完成推理、预测等...

2019-11-16 11:15:40 596 0

原创 文献阅读笔记：Phrase-Based & Neural Unsupervised Machine Translation

文章目录0. 背景0.1 摘要1. 介绍2. 无监督机器翻译的共同原则3. 无监督机器翻译模型3.1 无监督 NMT3.2 无监督 PBSMT4. 实验4.1 评测的数据集：4.2 初始化4.3 训练4.4 模型选择4.5 结果4.6 消融研究5. 相关工作6. 总结和未来工作 0. 背景 机构：...

2019-11-14 20:10:46 293 0

原创 知识图谱系列-1-概述

文章目录0. 背景1. 知识分类2. 发展背景3. 知识表示4. 是否包含规则 0. 背景 本文尝试在学习知识图谱过程中将一些零碎的知识进行一次较为系统的梳理，一是为了辅助自己对于该领域知识的体系化，二来是将自己的学习历程以此方式展示方便后来者围观。若是可以进一步助他人避坑，心中自是无限喜悦。本...

2019-11-11 20:16:58 152 0

原创 文献阅读笔记：Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer(T5)

0. 背景 机构：谷歌 作者： Colin Raffel 发布地方：arxiv 面向任务：自然语言理解 论文地址：https://arxiv.org/abs/1910.10683 论文代码：https://github.com/google-research/text-to-text-transf...

2019-11-07 16:33:46 821 0

原创 文献阅读笔记：Unsupervised Machine Translation Using Monolingual Corpora Only

文章目录0. 背景0.1 摘要1. 介绍2. 无监督神经机器翻译2.1 神经机器翻译模型2.2 模型概述2.3 降噪自编码2.4 跨域训练2.5 对抗训练3. 训练3.1 迭代训练3.2 无监督模型选择标准4. 实验4.1 数据集4.2 baselines4.3 无监督字典的学习4.4 实验细节4...

2019-10-24 18:02:33 490 0

原创 nvidia-smi 和 nvcc 结果的版本为何不一致

背景 为何nvidia-smi 中的CUDA 版本与 nvcc不一致： 从上述结果可以看出，nvidia-smi的结果显示CUDA版本是10.0，而从nvcc命令来看，却是CUDA 9.0 分析 其实是因为CUDA 有两种API，分别是 运行时 API 和 驱动API，即所谓的 Runtime ...

2019-10-19 17:19:35 8065 5

原创 文献阅读笔记：Word Translation Without Parallel Data

0. 背景 机构：Facebook 作者：Alexis Conneau, Guillaume Lample 发布地方：LCLR 2018 面向任务：无监督机器翻译 论文地址：https://arxiv.org/abs/1710.04087 论文代码：https://github.com/faceb...

2019-10-16 18:05:59 276 0

原创 在生产环境中基于PyTorch的C++API运行模型-以图像分类为例

背景 生产环境多数是使用java或者C++，本文将介绍在C++中加载PyTorch模型，执行生产环境下的推理。因此，本文的重点在于C++中如何加载模型，并进行推理预测操作，而不是模型的设计和训练。 可以查看官方提供的说明 https://pytorch.org/tutorials/advance...

2019-10-12 09:37:43 744 0

原创 文献阅读笔记：Unsupervised Question Answering by Cloze Translation

0. 背景 机构：Facebook 作者：Patrick Lewis 发布地方：arXiv 面向任务：问题生成 论文地址：https://arxiv.org/abs/1906.04980 论文代码：https://github.com/facebookresearch/UnsupervisedQA...

2019-10-10 10:09:03 412 0

原创 文献阅读笔记-ALBERT ： A lite BERT for self-supervised learning of language representations

0. 背景 机构：谷歌 作者： 发布地方：ICLR 2020 面向任务：自然语言理解 论文地址：https://openreview.net/pdf?id=H1eA7AEtvS 论文代码：暂未 0.1 摘要 预训练自然语言表征时，增加模型大小一般是可以提升模型在下游任务中的性能。但是这种纯粹依赖模...

2019-09-29 11:50:43 1959 0

原创 BERT-Tensorflow模型部署(CPU版和GPU版)

背景 使用BERT的TensorFlow方案解决法研杯要素识别任务，该任务其实是一个多标签文本分类任务。模型的具体不是本文重点，故于此不细细展开说明。本文重点阐述如何部署模型。 模型部署 官方推荐TensorFlow模型在生产环境中提供服务时使用SavedModel格式。SavedModel格式是...

2019-09-21 11:34:31 2167 0

原创 TensorFlow服务部署-以图像分类为例

背景 本文主要介绍如何基于Docker的TensorFlow Serving快速部署训练好的模型，以对外提供服务。部署在线服务（Serving）官方推荐使用 SavedModel 格式，而部署到手机等移动端的模型一般使用 FrozenGraphDef 格式。 本文训练一个神经网络模型来分类衣服的图...

2019-09-19 20:22:50 603 0

原创 KenLM安装补坑实录

背景 为了高效、快速统计词频，故而采用KenLM。至于KenLM的详情，请参考源码： https://github.com/kpu/kenlm。 安装 作者提供了安装指南：https://kheafield.com/code/kenlm/ 。确实在一切其他依赖环境都具备的前提下，安装如下： wge...

2019-09-18 11:20:08 771 0

原创 文献阅读笔记:Glyce2.0(Glyce: Glyph-vectors for Chinese Character Representations)

0. 背景 机构：香侬科技 作者：Yuxian Meng*, Wei Wu* 发布地方：NeurIPS 2019 面向任务：Language Representation 论文地址：https://arxiv.org/pdf/1901.10125 论文代码：https://github.com/S...

2019-09-12 16:39:17 232 0

原创 文献阅读笔记:RoBERTa：A Robustly Optimized BERT Pretraining Approach

0. 背景 机构：Facebook & 华盛顿大学 作者：Yinhan Liu 、Myle Ott 发布地方：arxiv 论文地址：https://arxiv.org/abs/1907.11692 论文代码：https://github.com/pytorch/fairseq 1. 介绍 ...

2019-09-09 16:39:09 3942 0

原创 BERT-TensorFlow版微调后模型过大解决方案

背景 TensorFlow中加载预训练的BERT模型(base)，在下游微调后发现最终模型比原始模型大许多。 对于某些竞赛，要求提交的代码、模型和数据文件有容量限制，为此需要尽量在模型上瘦身。 分析和解决 预训练的BERT模型只有390MB,但是微调结果模型有1.2GB。这是由于训练过程中的c...

2019-09-09 09:47:31 703 4

原创 文献阅读：ERNIE 2.0

0. 背景 机构：百度 作者：Yu Sun, Shuohuan Wang 发布地方：arxiv 面向任务：Natural Language Understanding 论文地址：https://arxiv.org/abs/1907.12412 论文代码：https://github.com/Pad...

2019-09-05 14:19:52 891 0

原创 文献阅读笔记：Deep contextualized word representations（ELMo）

0. 背景 机构：Allen 人工智能研究所 & 华盛顿大学 作者：Paul G 发布地方：arxiv、NAACL 2018 面向任务：word representation 论文地址：https://arxiv.org/abs/1802.05365 论文代码：https://github...

2019-08-31 21:12:04 191 0

原创 文献阅读：(UNILM)Unified Language Model Pre-training for Natural Language Understanding and Generation

0. 背景 机构：微软 作者：Li Dong、Nan Yang 发布地方：arxiv 面向任务：Natural Language Understanding and Generation 论文地址：https://arxiv.org/abs/1905.03197 论文代码：暂未 0-1. 摘要 本...

2019-08-28 19:53:54 2468 0

提示
确定要删除当前文章？
取消 删除