我也要用- 博客(355)
- 资源 (1)
- 论坛 (2)
- 收藏
- 关注
RSS订阅原创 pandas 两列数据合并
背景有两个字段，想要将其合并成为一个新的字段。比如当标签分散在不同字段时候，想要将各个标签融合一起。实现def test(): import pdb import pandas as pd df = pd.DataFrame({'year': ['2019', '2020'], 'quarter': ['q1', 'q2']}) df['year_quarter'] = df['year'] + "_" + df['quarter'] # 方法1 df['yea
2020-11-18 18:32:12
59
原创 NeurIPS 2020 | MiniLM：通用预训练模型压缩方法
摘要这里尝试通过一问一答的方式来简介MiniLM。Q： 这篇文章要解决什么问题？A：预训练模型的低效问题。预训练模型过大的话，有2个弊端：(1)推理速度慢(2)内存空间占用大。Q： 文章如何解决上述问题？A： 提出了一种通用的面向Transformer-based预训练模型压缩方法：MiniLM。MiniLM有3个核心点：(1)蒸馏teacher模型最后一层Transformer的自注意力模块(2)在自注意模块中引入值之间的点积(3)引入助教模型辅助模型蒸馏Q：文章方案最终效果如何？A：
2020-11-17 22:41:43
16
原创 EMNLP2020 | 模型压缩系列：BERT-of-Theseus(一种基于模块替换的模型压缩方法)
当古希腊神话遇到BERT，于是有了BERT-of-Theseus背景论文标题：BERT-of-Theseus: Compressing BERT by Progressive Module Replacing论文作者：Canwen Xu, Wangchunshu Zhou, Tao Ge, Furu Wei, Ming Zhou机构：武汉大学、北京航空航天大学、微软亚洲研究院论文地址：https://arxiv.org/abs/2002.02925收录会议：EMNLP 2020论文代码
2020-10-24 10:05:43
134
原创 NeurIPS 2020|RAG：为知识密集型任务而生
NeurIPS 2020|RAG：检索系统助攻生成器背景今天主要介绍一项Facebook AI Research发表于NeurIPS 2020(12月才召开，大家耐心等待哈) 的成果：RAG。虽然NLP在过去几年中突飞猛进，从为特定任务设计定制化的框架，再到如今各种基于海里语料无监督预训练得到强大的通用模型通过微调即可应对各种不同NLP任务。这些模型充满潜力，但它们也有三个主要缺点:(1)不能轻易地扩展或修正模型的记忆(2)预测结果的可解释性差(3)偶尔产生“幻觉”(hallucinations
2020-10-10 20:01:17
94
原创 “芝麻街”喜添新成员——Big bird
“芝麻街”喜添新成员——Big bird0. 背景题目：Big Bird: Transformers for Longer Sequences机构：Google Research作者：Manzil Zaheer, Guru Guruganesh, Avinava Dubey, Joshua Ainslie, Chris Alberti, Santiago Ontanon, Philip Pham, Anirudh Ravula, Qifan Wang, Li Yang, Amr Ahmed论文地
2020-10-09 22:54:51
108
原创 ACL2020论文阅读笔记：BART
背景题目：BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension机构：Facebook AI作者：Mike Lewis, Yinhan Liu, Naman Goyal, Marjan Ghazvininejad, Abdelrahman Mohamed, Omer Levy, Ves Stoyanov, Luke Zettlem
2020-09-26 20:18:51
205
原创 ACL2020论文阅读笔记-FastBERT: a Self-distilling BERT with Adaptive Inference Time
0. 背景题目：FastBERT: a Self-distilling BERT with Adaptive Inference Time机构：北大、腾讯、北师大作者：Weijie Liu, Peng Zhou, Zhe Zhao, Zhiruo Wang, Haotang Deng, Qi Ju论文地址：https://arxiv.org/abs/2004.02178收录会议：ACL2020代码：https://github.com/autoliuweijie/FastBERT摘要预训练
2020-07-25 14:08:57
205
原创 Google新作synthesizer：Rethinking Self-Attention in Transformer Models
0. 背景机构：Google Research作者：Yi Tay, Dara Bahri, Donald Metzler, Da-Cheng Juan, Zhe Zhao, Che Zheng论文地址：https://arxiv.org/abs/2005.007430.1 摘要以当下基于Transformer的各种先进模型来看，使用点积自注意力（dot product self-attention）是至关重要且不可或缺的。但，事实真的如此吗，没有点积自注意力就会不香吗？点积自注意力是否真的不可替代
2020-07-19 16:43:30
173
原创
ICML 2020论文笔记：地表最强文本摘要生成模型PEGASUS(天马)
原力计划
这里写自定义目录标题背景摘要介绍模型预训练目标GSG预训练语料和下游任务实验结果消融研究Larger模型效果处理低资源数据集人工评测总结：Google发布天马-地表最强文本摘要生成模型,打败人类，我只要1000个样本)背景机构：Google Research作者：Jingqing Zhang, Yao Zhao, Mohammad Saleh, Peter J. Liu论文地址：https://arxiv.org/abs/1912.08777收录会议：ICML 2020论文代码：https:/
2020-07-12 14:08:34
656
原创 Pandas中两个dataframe的交集和差集
创建测试数据：import pandas as pdimport numpy as np #Create a DataFramedf1 = { 'Subject':['semester1','semester2','semester3','semester4','semester1', 'semester2','semester3'], 'Score':[62,47,55,74,31,77,85]} df2 = { 'Subject':['s
2020-07-06 19:39:11
1924
原创 使用BERT对句子进行向量化(TensorFlow版和Pytorch版)
背景用BERT对句子进行向量化实施TensorFlow版直接用肖涵博士的bert-as-service。使用方法真的很小白，简单概括为2点：server和client安装。pip install bert-serving-server # serverpip install bert-serving-client # client, independent of `bert-serving-server`在server安装完后，启动服务，比如：bert-serving-start -mod
2020-06-06 20:22:51
1592
16
原创 docker拉取的pytorch-gpu版找不到cuda和cudnn的位置，为何？
问题描述pytorch 镜像位置：https://hub.docker.com/r/pytorch/pytorch/tags拉取镜像：docker pull pytorch/pytorch:1.5-cuda10.1-cudnn7-runtime查看本地现有镜像清单：创建一个容器：docker run --gpus all -td --name=liujiepeng_pytorch pytorch/pytorch bash注意：其实这里有两个repository名字相同，tag名不同的版
2020-05-19 11:01:46
1529
原创
ICLR2020论文阅读笔记reformer: THE EFFICIENT TRANSFORMER
原力计划
0. 背景机构：Google Research 、U.C. Berkeley作者：Nikita Kitaev、Łukasz Kaiser、Anselm Levskaya论文地址：https://arxiv.org/abs/2001.04451收录会议：ICLR2020论文代码：https://github.com/google/trax/tree/master/trax/models/reformer0.1 摘要基于Transformer的各种巨型模型在各种自然语言处理任务中常常能够取得最优结
2020-05-11 19:46:36
513
原创
文献阅读笔记electra: pre-training text encoders as discriminators rather than generators
原力计划
目录0. 背景0.1 摘要1. 介绍2. 方法3. 实验3.1 实验设置3.2 模型拓展3.3 Small版模型3.4 Large版模型3.5 有效性分析4. 总结0. 背景机构：斯坦福、Google Brain作者：Kevin Clark、Minh-Thang Luong、Quoc V. Le论文地址：https://arxiv.org/abs/2003.10555收录会议：ICLR 2020论文代码：https://github.com/google-research/electra0.1
2020-05-09 18:54:20
354
原创 Rasa教程系列-Core-6-Slots
文章目录什么是槽位slotsRasa中如何使用Slots如何设置SlotsSlots Set from NLUSlots Set By Clicking ButtonsSlots Set by ActionsSlot TypesText SlotBoolean SlotCategorical SlotFloat SlotList SlotUnfeaturized SlotCustom Slot T...
2020-01-17 14:34:16
1034
原创 Rasa教程系列-Core-5-Policies
文章目录Configuring PoliciesMax HistoryData AugmentationAction SelectionKeras PolicyEmbedding PolicyMapping PolicyMemoization PolicyAugmented Memoization PolicyFallback PolicyTwo-Stage Fallback PolicyForm...
2020-01-16 11:57:15
797
1
原创 Rasa教程系列-Core-4-Actions
Actions(操作)是机器人对用户输入的响应，在Rasa有四种actions:(1)Utterance actions: 以utter_为前缀并向用户发送特定信息(2)Retrieval actions: 以respond_为前缀，所发送的信息来自于 retrieval model(3)Custom actions: 运行任意代码并发送任意数量的消息 (or none)(4)Defaul...
2020-01-15 17:54:11
1393
原创 Rasa教程系列-Core-3-Responses
如果希望助理响应用户消息，则需要管理这些响应。在机器人的训练数据中，通过stories指定机器人应该执行的操作。这些操作可以使用utterances将消息发送回用户。有三种方法来管理这些utterances:(1)Utterances 存于Domain文件中，看这里(2)检索动作响应是训练数据的一部分，看这里(3)可以创建自定义NLG service 来生成响应， 看这里utteranc...
2020-01-15 16:13:30
275
1
原创 Rasa教程系列-Core-2-Domains
Domain定义了机器人助手所处的世界。它指定了机器人应该知道的意图(intents)、实体(entities)、槽位(slots)和操作(actions)。另外，它还可以包含机器人能够说的内容的模板(templates)。文章目录Domain示例自定义Actions 和SlotsUtterance 模板Images and ButtonsCustom Output Payloads(自定义输出...
2020-01-15 15:17:01
468
原创 Rasa教程系列-Core-1-Stories
Rasa Core 核心的对话引擎。先来介绍下训练数据的格式。Rasa stories 是一种用来训练Rasa的对话管理模型的数据形式。一个story 是用户和人工智能助手之间对话的表示，被转换为特定的格式，其中用户输入表示为相应的意图(和必要的实体)，而助手的响应表示为相应的action名称。Rasa Core对话系统的一个训练示例称为一个story。注意：可以将story分散到多个文件中，...
2020-01-14 17:53:34
908
1
原创 Rasa教程系列-NLU-4-组件
注意：为了清晰起见，官方重新命名了预定义的管道，以反映它们做了什么，而不是在Rasa NLU 0.15中使用了哪些库。tensorflow_embed_embeddings管道现在称为supervised_embeddings, spacy_sklearn现在称为pretrained_embeddings_spacy。如果你正在使用这些，请更新代码吧。本文是Rasa NLU中每个内置组件配置...
2020-01-14 16:19:39
730
原创 Rasa教程系列-NLU-3-实体抽取
文章目录介绍自定义实体抽取位置、日期、人名、组织日期、金额、时长、距离和序号正则表达式将自定义特征传给CRFEntityExtractor介绍目前1.6.1版本支持的extractors如下：ComponentRequiresModelNotesCRFEntityExtractorsklearn-crfsuiteconditional random field适...
2020-01-13 18:21:32
1095
原创 Rasa教程系列-NLU-2- 选择pipeline
文章目录1. 短answer2. 长answer2.1 pretrained_embeddings_spacy2.2 pretrained_embeddings_convert2.3 supervised_embeddings2.4 MITIE2.5 对比不同的pipelines3. 类别失衡4. 多意图6. 理解Rasa NLU pipeline7. Component Lifecycle8....
2020-01-13 16:25:39
1176
原创 Rasa教程系列-NLU-1-训练集格式
文章目录1. 数据格式1.1 Markdown格式1.2 Json 格式2. 改善意图分类和实体识别2.1 常见示例(Common Examples)2.2 正则特征（Regular Expression Features）2.3 查找表（lookup tables）3. 标准化数据3.1 实体同义词4. 生成更多实体例子1. 数据格式NLU模块的训练可以使用 Markdown 或 JSON格...
2020-01-13 11:20:19
1061
2
原创 Rasa教程系列-1-命令行交互
文章目录0. 背景1. 命令行速查表2. 训练模型3. 交互式学习4. Talk to Assistant5. 启动Rasa Server6. 启动 Action Server7. Stories的可视化8. 用test数据对模型进行评估9. 划分Train-test数据集10. Markdown和JSON数据格式之间的转换11. 启动Rasa X0. 背景本文主要介绍Rasa中常用的命令行交...
2020-01-09 21:06:50
1341
原创 Rasa教程系列-0-Rasa安装和项目创建
这里写自定义目录标题0. 背景1. 安装2. 创建新项目3. 查看NLU训练数据集4. 定义模型的配置5. 书写自己的Stories6. 定义 Domain7. 训练模型8. 与助手进行对话0. 背景事先说明：本系列Rasa教程基于Rasa 1.6.1版本。Rasa是一个开源机器学习框架，可用于构建具有上下文理解能力的AI助手(assistant)。Rasa有两个主要模块：Rasa N...
2020-01-09 17:35:41
1617
原创 文献阅读笔记：NEZHA(Neural Contextualized Representation for Chinese Language Understanding)
0. 背景机构：华为诺亚方舟实验室作者：Junqiu Wei, Xiaozhe Ren等面向任务：自然语言理解论文地址：https://arxiv.org/abs/1909.00204论文代码：https://github.com/huawei-noah/Pretrained-Language-Model/tree/master/NEZHA0.1 摘要预训练模型在捕捉深度语境表征方面...
2019-12-21 17:55:29
808
原创 多个neo4j服务共用同一个data目录
文章目录背景分析解决方案1：修改文件夹归属是否能够同时启动共用data目录的多个服务解决方案2：总结背景neo4j的data目录不能被多个启动服务读写。更具体来讲，data目录下仅能对一个neo4j服务提供磁盘数据。在data/databases有一个名为store_lock的文件，就是数据库的锁文件，防止数据的错乱。具体实例如下：目录/data/dev_tool/neo4j-communit...
2019-12-06 11:21:12
252
原创 文献阅读笔记：Unsupervised Cross-lingual Representation Learning at Scale(XLM-R)
0. 背景机构：Facebook作者：Alexis Conneau、Kartikay Khandelwal获奖：EMNLP 2019 最佳论文面向任务：跨语言理解论文地址：https://arxiv.org/abs/1911.02116论文代码：https://github.com/pytorch/fairseq官方介绍：https://ai.facebook.com/blog/-x...
2019-11-22 20:15:16
907
原创 同一台机器中启动多个neo4j数据库
文章目录0. 背景1. 默认方式启动neo4j2. 方案0：指定配置文件启动neo4j3. 方案1：使用多个安装文件4. 方案2：使用docker4.1 拉取 neo4j 镜像4.2 创建 neo4j 容器4.3 创建多个 neo4j 容器0. 背景对于大量节点和关系的知识图谱导入neo4j，一般是使用neo4j-admin import。而使用neo4j-admin import导入neo4...
2019-11-20 20:46:47
723
2
原创 概率图模型系列-1-从朴素贝叶斯和HMM说起
0. 背景本系列博文尝试系统化地梳理概率图模型。本文以朴素贝叶斯和HMM为切入点尝试窥探概率图模型一二。1. 预备知识在介绍朴素贝叶斯之前，需要先简单介绍下概率论中的基础知识：条件概率、贝叶斯公式和全概率公式。1.1 条件概率当给定条件发生变化后，会导致事件发生的可能性发生变化。比如:背对着一个人，让你猜猜背后这个人是 男/女的概率是多少? 在没有其他先验信息的情况下，只能猜测50%。但...
2019-11-18 08:43:24
302
原创 知识图谱系列-2-知识图谱发展历程及其分类
1. 知识图谱发展历程知识图谱的发展可以从人工智能和语义网(注意语义网和语义网络是不同的)这两个领域进行追溯。在人工智能方面，人类致力于使计算机更智能，能够进行推理、分析、预测等高级思维活动。而知识图谱是该目标实现的一个工具，通过将人类的知识用计算机进行表示和组织，并设计相应算法完成推理、预测等任务。其中，专家系统就是利用知识库支撑AI的一种有效尝试。另一方面，互联网技术的高速发展，带来数据爆发...
2019-11-16 11:15:40
1139
原创 文献阅读笔记：Phrase-Based & Neural Unsupervised Machine Translation
文章目录0. 背景0.1 摘要1. 介绍2. 无监督机器翻译的共同原则3. 无监督机器翻译模型3.1 无监督 NMT3.2 无监督 PBSMT4. 实验4.1 评测的数据集：4.2 初始化4.3 训练4.4 模型选择4.5 结果4.6 消融研究5. 相关工作6. 总结和未来工作0. 背景机构：Facebook作者：Guillaume Lample, Myle Ott, Alexis Conn...
2019-11-14 20:10:46
591
原创 知识图谱系列-1-概述
文章目录0. 背景1. 知识分类2. 发展背景3. 知识表示4. 是否包含规则0. 背景本文尝试在学习知识图谱过程中将一些零碎的知识进行一次较为系统的梳理，一是为了辅助自己对于该领域知识的体系化，二来是将自己的学习历程以此方式展示方便后来者围观。若是可以进一步助他人避坑，心中自是无限喜悦。本系列将从知识图谱是什么开始介绍，之后稍加考古介绍其发展历程及其当下知识图谱有哪些类型。再往后便是最为核...
2019-11-11 20:16:58
230
原创 文献阅读笔记：Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer(T5)
0. 背景机构：谷歌作者： Colin Raffel发布地方：arxiv面向任务：自然语言理解论文地址：https://arxiv.org/abs/1910.10683论文代码：https://github.com/google-research/text-to-text-transfer-transformer0.1 摘要迁移学习已经在NLP领域大显神威，其有效性源于多元化的方法...
2019-11-07 16:33:46
1315
原创 文献阅读笔记：Unsupervised Machine Translation Using Monolingual Corpora Only
文章目录0. 背景0.1 摘要1. 介绍2. 无监督神经机器翻译2.1 神经机器翻译模型2.2 模型概述2.3 降噪自编码2.4 跨域训练2.5 对抗训练3. 训练3.1 迭代训练3.2 无监督模型选择标准4. 实验4.1 数据集4.2 baselines4.3 无监督字典的学习4.4 实验细节4.5 实验结果5. 相关工作6. 总结0. 背景机构：Facebook作者：Guillaume ...
2019-10-24 18:02:33
961
原创 nvidia-smi 和 nvcc 结果的版本为何不一致
背景为何nvidia-smi 中的CUDA 版本与 nvcc不一致：从上述结果可以看出，nvidia-smi的结果显示CUDA版本是10.0，而从nvcc命令来看，却是CUDA 9.0分析其实是因为CUDA 有两种API，分别是 运行时 API 和 驱动API，即所谓的 Runtime API 与 Driver API。nvidia-smi 的结果出了 GPU 驱动版本型号，还有 CU...
2019-10-19 17:19:35
16910
7
原创 文献阅读笔记：Word Translation Without Parallel Data
0. 背景机构：Facebook作者：Alexis Conneau, Guillaume Lample发布地方：LCLR 2018面向任务：无监督机器翻译论文地址：https://arxiv.org/abs/1710.04087论文代码：https://github.com/facebookresearch/MUSE0.1 摘要已有的先进跨语言词嵌入技术多数严重依赖双语词典或者平行...
2019-10-16 18:05:59
712
原创 在生产环境中基于PyTorch的C++API运行模型-以图像分类为例
背景生产环境多数是使用java或者C++，本文将介绍在C++中加载PyTorch模型，执行生产环境下的推理。因此，本文的重点在于C++中如何加载模型，并进行推理预测操作，而不是模型的设计和训练。可以查看官方提供的说明 https://pytorch.org/tutorials/advanced/cpp_export.html#TorchScript简介TorchScript是PyTorc...
2019-10-12 09:37:43
1174
原创 文献阅读笔记：Unsupervised Question Answering by Cloze Translation
0. 背景机构：Facebook作者：Patrick Lewis发布地方：arXiv面向任务：问题生成论文地址：https://arxiv.org/abs/1906.04980论文代码：https://github.com/facebookresearch/UnsupervisedQA0.1 摘要本文尝试探寻以下2个问题。(1)对于抽取式问答(EQA)，训练数据集的质量要求是怎么...
2019-10-10 10:09:03
764
JasonLiu1919的留言板
发表于 2020-01-02 最后回复 2020-01-02
新手求助
发表于 2012-08-22 最后回复 2012-08-23
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人 TA的粉丝