- 博客(9)
- 资源 (1)
- 收藏
- 关注
原创 ACL2020 | SongNet(格式可控的文本生成)
背景题目:Rigid Formats Controlled Text Generation机构:Tencent AI Lab作者:Piji Li、Haisong Zhang、Xiaojiang Liu、Shuming Shi论文地址:https://arxiv.org/abs/2004.08022收录会议:ACL 2020论文代码:https://github.com/lipiji/SongNet摘要基于神经网络的文本生成在各种任务中取得了巨大的进展。这些文本生成任务如对话生成、
2020-12-31 20:19:25 1351
原创 EMNLP 2020 | Facebook稠密向量召回方案
0. 背景机构:Facebook AI、华盛顿大学、普林斯顿大学作者:Vladimir Karpukhin, Barlas Oğuz, Sewon Min, Patrick Lewis, Ledell Wu, Sergey Edunov, Danqi Chen, Wen-tau Yih论文地址:https://arxiv.org/abs/2004.04906收录会议:EMNLP 2020论文代码:https://github.com/facebookresearch/DPR1. 摘要
2020-12-31 19:56:18 940 1
原创 根据子字符列表过滤掉给定列表
背景给定两个字符串列表string_list和substr_list,筛选出string_list中包含substr_list中元素的所有字符串。示例:Input : string_list= ['city1', 'class5', 'room2', 'city2'] substr_list= ['class', 'city']Output : ['city1', 'class5', 'city2']Input : string_list= ['coordinates', 'xy
2020-12-30 14:10:34 114
原创 过滤掉list中被其他元素所包含的元素
背景有一个list,其中的元素存在之间相互包含的关系,即元素A可能是原始B的子串。举个例子:输入list a=['我是卖麻辣烫的小男孩', '小男孩', '麻辣烫', '华中科技大学','大学'],希望返回的结果是['我是卖麻辣烫的小男孩', '华中科技大学']解法由于长字符串不可能被短字符串所包含,即长字符串不可能是短字符串的子串,那么只需要按照字符串长度降序排序,并设立一个新的list(比如new_a),从长->短,依次判断排序后的字符串是否是new_a中元素的子串。具体代码:
2020-12-30 11:05:10 881 2
原创 给定值查找在list中的近邻值
背景给定一个有序list 和 目标value,如果将该目标value值插入list中,那么索引位置是多少。举例说明:a_list=[0, 2, 4, 6, 7, 9, 11, 12, 13, 14, 18, 19, 21],给定value=8,那么此时8位于 a_list中的7和9之间,该位置对应的索引位置是5,所以输出索引位置5。方法用bisect,bisect是python内置模块,用于有序序列的插入和查找。查找: bisect(array, item)插入: insort(array,i
2020-12-28 16:12:38 893
原创 获取list中Top K个值对应的索引
背景在得到概率分布的list之后,想要得到 Top K个概率值及其索引,因为索引对应着label id。方法 import numpy as np p = [0.07, 0.2, 0.1, 0.03, 0.1, 0.5] topk = 2 print("方法1:") index_list = sorted(range(len(p)), key=lambda i: p[i])[-topk:] # sorted(range(len(p)), key=lambda i:
2020-12-23 11:40:09 2052
原创 pandas列值根据字典批量替换
背景一个数据中某一列的值需要根据某个字典批量映射为字典中的value。方法1:pandas中的df.replace import pandas as pd import numpy as np df = pd.DataFrame({'col2': {0: 'a', 1: 2, 2: np.nan}, 'col1': {0: 'w', 1: 1, 2: 2}}) print("init df:") print(df) column_dict = {1: "A
2020-12-23 09:48:19 13373 2
原创 模型推理加速系列|如何用ONNX加速BERT特征抽取-part2(附代码)
背景本文紧接之前的一篇文章如何用ONNX加速BERT特征抽取,继续介绍如何用ONNX+ONNXRuntime来加速BERT模型推理。如果看过之前的那篇文章如何用ONNX加速BERT特征抽取的童鞋估计还记得文中留了一个疑问:为何优化过的ONNX模型与未优化的ONNX性能相近?说好的优化,说好地提速呢?与预期不符~经热心网友冠达提醒优化的ONNX模型运行时要开启OpenMP(如果没有安装,用apt-get install libgomp1安装OpenMP运行时库即可)。回来一试,果然如此,在此感谢热心网友!
2020-12-08 21:52:22 1525 1
原创 按照len长度过滤pandas中值为list类型的数据
背景pandas中对于值为list的数据,如果想要根据list的长度进行过滤,如何操作?方案假设数据集: a b c1 x y [x]2 x z [c,d]3 x t [e,f,g]想要实现result_df = df[len(df['result'])>1] 这种功能。比如想要过滤到 字段 c 中长度>=2的数据,那么可以如下操作: result_df = df[df['c'].map(len) > 1]
2020-12-07 11:05:29 1635
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人