- 博客(21)
- 收藏
- 关注
RSS订阅转载 何恺明-MoCo：资源不够，亦能玩转对比学习
对比学习已经成为无监督表示学习的一大范式，不研究表明，模型效果与BatchSize成正相关，大厂在训练模型时也动辄将BatchSize提到万级别（ALIGN的16384、CLIP的32768）。如何在资源有限情况下提高BatchSize，已经成为平民炼丹师的关注重点。......
2022-07-06 16:26:01
558
原创 back translation时如何选取源语言生成方式
Sergey2018EMNLP_Understanding Back-Translation at Scale摘要：采样/加噪的合成数据，比greedy/beam方法生成的数据训练效果更好研究了合成数据较之真正双语数据效果如何研究了各种domain effectsIntro：关于如何使用单语语料优化模型，已经有了大量的研究：语言模型融合、回溯、对偶学习回溯中，target是自然...
2019-08-27 17:27:12
1713
原创 [LeetCode] 18.四数之和 最优解@Python
题目Given an array nums of n integers and an integer target, are there elements a, b, c, and d in nums such that a + b + c + d = target? Find all unique quadruplets in the array which gives the sum of ...
2019-02-15 10:24:26
473
原创 [LeetCode] 16.最接近的三数之和 最优解@Python
题目Given an array nums of n integers and an integer target, find three integers in nums such that the sum is closest to target. Return the sum of the three integers. You may assume that each input wou...
2019-02-13 13:24:08
773
原创 [LeetCode] 15.三数之和 @Python
题目Given an array nums of n integers, are there elements a, b, c in nums such that a + b + c = 0? Find all unique triplets in the array which gives the sum of zero.Note:The solution set must not con...
2019-02-13 09:25:46
259
原创 [leetcode] 利用Python及Trie树实现 [14.最长公共前缀]
原题编写一个函数来查找字符串数组中的最长公共前缀。如果不存在公共前缀，返回空字符串 “”。示例 1:输入: [“flower”,“flow”,“flight”]输出: “fl”示例 2:输入: [“dog”,“racecar”,“car”]输出: “”解释: 输入不存在公共前缀。利用Trie树实现class TrieNode(object):# 利用Python定义...
2019-02-12 10:41:07
488
原创 DeepType剖析，以及如何使用DeepType完成实体链接
Oracle定义：衡量现有 typetypetype 系统 AAA 的实体消歧效果流程：给定mention mim_imi，实体 eiGTe_i^{GT}eiGT，候选集ϵmi\epsilon_{m_i}ϵmi。（假设每个 mim_imi 都已经被正确预测到相应 typetypetype 下）根据 eiGTe_i^{GT}eiGT 所对应的 typetypetype ，...
2019-01-23 19:41:06
2160
5
原创 [程序员就是要有自己的指令查询系统] 基于elasticsearch快速搭建属于自己问答库（附代码）
基于elasticsearch搭建属于自己的指令查询系统前言Elasticsearch安装Elasticsearch使用1. 问答数据上传2. 测试查询语句前言本教程使用的系统是centos7，windows也可以使用，但是Elasticsearch安装方法要自己Google一下了代码地址Elasticsearch安装安装java（es需要java环境）yum install ja...
2019-01-21 15:47:20
1354
原创 Attention模型超超超超超超级攻略
前言虽然国内外已经有很多Attention相关的博文了，但是哪怕点击量上万，也鲜有完全讲明白Attention各方面内容的文章，反而大都千篇一律地局限在比较浅显的原理上Seq2Seq的编码向量是怎么计算的？Seq2Seq的编码向量是怎么使用的？Attention就是对对联，汤姆对Tom，杰瑞对Jerry？Attention参数是怎么计算的？Attention是怎么实现的？很多...
2019-01-04 17:20:37
516
原创 torch.mul() 和 torch.mm() 的区别
torch.mul(a, b)是矩阵a和b对应位相乘，a和b的维度必须相等，比如a的维度是(1, 2)，b的维度是(1, 2)，返回的仍是(1, 2)的矩阵torch.mm(a, b)是矩阵a和b矩阵相乘，比如a的维度是(1, 2)，b的维度是(2, 3)，返回的就是(1, 3)的矩阵import torcha = torch.rand(1, 2)b = torch.rand(1, ......
2019-01-04 09:24:11
99113
9
原创 pytorch张量torch.Tensor类型的构建、相互转换与拼接
构建构建一个n∗mn*mn∗m的Float类型张量（也是默认张量类型）torch.FloatTensor(n, m)构建一个n∗mn*mn∗m的Double类型张量torch.DoubleTensor(n, m)构建一个n∗mn*mn∗m的Byte类型张量torch.ByteTensor(n, m)构建一个n∗mn*mn∗m的Char类型张量torch.CharTensor(n,...
2019-01-03 08:53:41
2170
原创 如何加载本地词向量
前言代码地址正文1. 词频统计使用的是jieba分词，如果是基于字的词向量直接split()就行def get_word_freq(file_path): ''' 统计文件出现的词频 Args: file_path: train、val、test文件所在目录 Returns: token_counter: [dic...
2018-12-26 10:59:12
1796
原创 如何在python中使用pickle将缓存转为文件
pickle是干嘛的、为啥要用pickle：可以将程序中运行的对象信息保存到文件中去，永久存储读写速度比较快支持格式多整段代码import picklea = [1,2,3,4,5]print('a = {}'.format(a))# 将a序列化并写入'cache.pkl'with open('cache.pkl', 'wb') as outf: pickle....
2018-12-26 10:14:05
950
原创 如何使用BERT实现中文的文本分类（附代码）
如何使用BERT模型实现文本分类前言Pytorchreadme参数表Tensorflowreadme前言Pytorchreadme参数表data_dirTensorflowreadme涂壁抗体纽
2018-12-11 11:07:53
76153
72
原创 KIM2014_Convolutional Neural Networks for Sentence Classification
Text CNN
2018-11-07 20:57:03
1094
原创 Artetxe2018CoNLL_Uncovering divergent linguistic information in word embeddings...
Artetxe2018CoNLL_Uncovering divergent linguistic information in word embeddings with lessons for intrinsic and extrinsic evaluation
2018-11-06 16:19:51
494
原创 Devlin2018Google_BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
BERT: Pre-training of Deep Bidirectional Transformers for Language UnderstandingAbstractContentsSimulation resultsRelevant information新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一...
2018-10-31 11:35:11
3678
1
原创 [torchtext]如何利用torchtext读取json文件并生成batch
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入欢迎使用Ma...
2018-10-22 20:30:58
3625
4
原创 Trie简介及Python实现
Trie简介及Python实现Trie简介Python实现Trie简介Python实现利用Python定义指针class TrieNode(object): def __init__(self): self.child = {} self.flag = None利用自定义指针实现Trieclass Trie(object): def _...
2018-10-18 20:02:22
2675
原创 Sutskever2014_Sequence to Sequence Learning with Neural Networks
（1）INFO: Sutskever2014_Sequence to Sequence Learning with Neural Networks（2）ABSTRACTUse one LSTM to read the input sequence, one timestep at a time, to obtain large fixed-dimensional vector repre...
2018-08-24 15:13:48
655
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人