自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

NLP Never Stop

github.com/guotong1988

原创 textmatch(文本匹配)模型输出score卡阈值一个细节

最后输出结果是[batch_size,2], 但不是通过[:,0]和[:,1]的大小相比得出结果, 而是取[:,1]然后卡阈值。

2020-06-01 19:20:49 11 0

原创 一种LaTex的table,emnlp的

{\renewcommand{\arraystretch}{1.0} \begin{table*}[!ht] \centering { \begin{tabular}{L{0.85\columnwidth}|C{0.2\columnwidth}C{0.2\columnwidth}|C{0.2\co...

2020-05-27 09:53:40 29 0

原创 Spark java.lang.ClassCastException 无其他报错提示

spark集群上跑报 java.lang.ClassCastException 这个错,然后没有报哪个Class不能Cast 最终发现是有个Double到Long的强转,,

2020-05-22 16:22:26 51 0

原创 BERT 多GPU比单GPU优势不大

https://github.com/NVIDIA/DeepLearningExamples/blob/master/TensorFlow/LanguageModeling/BERT

2020-05-21 13:55:54 99 0

原创 TensorFlow 一些多GPU用MirroredStrategy的代码

https://www.tensorflow.org/guide/distributed_training https://www.tensorflow.org/tutorials/distribute/custom_training https://github.com/tensorflow/...

2020-05-20 10:08:16 73 0

原创 BERT 多GPU horovod 代码

https://github.com/NVIDIA/DeepLearningExamples/blob/master/TensorFlow/LanguageModeling/BERT/run_pretraining.py

2020-05-19 15:25:47 33 0

原创 TensorFlow 多机多卡 代码

https://github.com/GoogleCloudPlatform/tf-estimator-tutorials/tree/master/Experimental/distribution

2020-05-19 09:18:32 41 0

原创 pytorch pad 实例

import torch tensor = torch.Tensor([[[1,1],[2,2],[3,3]],[[4,4],[5,5],[6,6]]]) print(tensor.shape) print(tensor) pad_tensor = torch.constant_pad_nd(te...

2020-05-09 19:30:15 69 0

原创 huggingface / transformers 的BERT从本地加载

https://github.com/huggingface/transformers/issues/856

2020-05-09 15:20:04 165 0

原创 销量等大数值特征输入深度模型

一个特征的值如果是 100000、150000 这样的,怎么输入到模型里?比如这个特征就是销量? 决策树直接输入,普通模型做下上下界截断然后做一些log或者sqrt的处理,大模型可以离散化,直接int离散化或者做log后离散化都行 ...

2020-04-29 17:23:47 58 0

原创 TensorFlow 的KL divergence的实现

def kl_for_log_probs(log_p, log_q): p = tf.exp(log_p) neg_ent = tf.reduce_sum(p * log_p, axis=-1) neg_cross_ent = tf.reduce_sum(p * log_q...

2020-04-28 19:17:08 111 0

原创 Differentiable Reasoning over a Virtual Knowledge Base 代码

https://github.com/google-research/language/tree/master/language/labs/drkit

2020-04-28 16:28:49 96 0

原创 AutoPhrase 阅读笔记

论文名:Automated Phrase Mining from Massive Text Corpora 摘要 本文研究关键短语提取,研究无监督的,使用了通用知识库信息来做,使用了词性信息提升效果, 引言 Phrase mining的意思是短语(实体、关键词)提取, 本文贡献: 使用通用知识库的...

2020-04-28 15:25:52 123 0

原创 BERT加速,BERT inference加速,BERT实用加速

从头预训练一个针对的那1个任务的3层BERT, 保持预训练和inference时的一致性,速度加速4倍,精度不变。

2020-04-28 10:24:33 91 0

原创 spark 2.2 只有1个worker在跑

partitions数量没设置, dataframe.repartition(100)

2020-04-27 14:42:14 41 0

原创 gitignore 刷新

https://stackoverflow.com/questions/38450276/force-git-to-update-gitignore

2020-04-15 17:03:39 48 0

原创 tensorflow 一个模型两个学习率

tvars = tf.trainable_variables() var_list1 = [var for var in tvars if "bert" in var.name] var_list2 = [var for var in tvars if "bert&q...

2020-04-15 15:43:33 61 0

原创 spark,在左表右表都有重复数据的情况下,left join之后数据数量等于左表

给左表人工加一个id列, 最后按这个id列distinct就行了。

2020-04-14 13:51:46 102 0

原创 spark groupby之后再展开 实例

import org.apache.spark.sql.{Row, SparkSession} object Test { def main(args: Array[String]): Unit = { val spark = SparkSession.builder.appNam...

2020-04-14 12:27:48 60 0

原创 imdb、SST-1、SST-2、yelp-2013、yelp-2014 文本分类数据集

https://github.com/JerrikEph/Capsule4TextClassification/blob/master/data/downloadDataset.md

2020-04-10 15:25:36 235 0

原创 短文本分类数据集(英文)

https://opendata.stackexchange.com/questions/6080/data-sets-for-short-text-classification

2020-04-10 13:15:33 113 0

原创 pycharm debug F8 slow / variable not show

Preference --> python debugger --> Gevent compatible 勾选后重跑

2020-04-10 11:21:59 31 1

原创 tensorflow 构造对角线为0的矩阵,并mask

import tensorflow as tf sess = tf.Session() input = tf.ones([2,3,3])*2 mask1 = tf.ones([3,3]) mask2 = tf.diag(tf.ones([3])) mask = mask1 - mask2 pr...

2020-04-09 11:47:14 87 0

原创 tensorflow 构造对角线为1的矩阵,并mask

import tensorflow as tf sess = tf.Session() input = tf.ones([2,3,3])*2 mask = tf.diag(tf.ones([3])) print(sess.run(mask)) print(sess.run(input * ma...

2020-04-09 11:40:26 113 0

原创 ICLR 2020 ENERGY BASED MODEL 摘要速览

YOUR CLASSIFIER IS SECRETLY AN ENERGY BASED MODEL AND YOU SHOULD TREAT IT LIKE ONE https://openreview.net/group?id=ICLR.cc/2020/Conference#accept-tal...

2020-04-09 10:38:24 69 0

原创 矩阵分解的一些理解

attention matrix 是一个 [batch_size, sequence_len1, hidden_size] 的tensor和一个 [batch_size, sequence_len2, hidden_size] 的tensor得到的 [batch_size, sequence_le...

2020-04-03 15:01:26 82 0

原创 Structural Deep Clustering Network 摘要速览

https://arxiv.org/pdf/2002.01633.pdf Clustering is a fundamental task in data analysis. Recently, deep clustering, which derives inspiration primaril...

2020-04-01 10:31:38 139 0

原创 LambdaNet 摘要速览

LAMBDANET: PROBABILISTICTYPEINFERENCEUSINGGRAPHNEURALNETWORKS https://openreview.net/group?id=ICLR.cc/2020/Conference 代码补全,即自动推断变量类型,在Python和TypeScri...

2020-03-20 09:53:46 74 0

原创 spark 报错 No Encoder found for Iterable

查看了一下map每个返回的是immutable.Iterable[MyClass], 调用toSeq方法就行了。

2020-03-18 18:10:24 89 0

原创 deterministic variational inference for robust BNNs 摘要速览

DETERMINISTIC VARIATIONAL INFERENCE FOR ROBUST BAYESIAN NEURAL NETWORKS https://openreview.net/group?id=ICLR.cc/2019/Conference 贝叶斯网络 在只有有限数据训练时 很不错,...

2020-03-16 10:47:34 75 0

原创 BA-NET 摘要速览

https://openreview.net/group?id=ICLR.cc/2019/Conference BA-NET: DENSE BUNDLE ADJUSTMENT NETWORKS 本文介绍一个网络结构,来解决 structure-from-motion(SfM)问题,通过 特征矩阵 ...

2020-03-16 10:14:02 54 0

原创 NS-CL 摘要速览

https://openreview.net/group?id=ICLR.cc/2019/Conference THE NEURO-SYMBOLIC CONCEPT LEARNER: INTERPRETING SCENES, WORDS, AND SENTENCES FROM NATURAL SU...

2020-03-15 20:34:42 62 0

原创 how powerful are GNNs? 摘要速览

我们对GNN的表示性质和局限了解有限,这里,我们提出一个理论框架来分析GNN的表示能力, 我们的研究灵感来自Weisfeiler-Lehman (WL) 图同构测试, 本文的贡献有4点: 1)我们显示GNN最多和WL测试一样能区分图结构, 2)我们建立条件 on the neighbor aggr...

2020-03-15 20:15:20 52 0

原创 GEN Encoder 摘要速览

Generic Intent Representation in Web Search 本文提出GEneric iNtent Encoder (GEN Encoder),为用户搜索意图训练一个向量表示, 使用大规模必应搜索的用户点击日志作为用户意图的弱监督 GEN Encoder 端对端的 训练将...

2020-03-13 11:20:38 38 0

原创 正则表达式 匹配任意零个到多个字符

import re print(re.findall("防治.{1,2}动脉硬化","防治动脉硬化")) print(re.findall("防治.{1,2}动脉硬化","防治高血压动脉硬化")) print(r...

2020-03-12 18:05:57 538 0

原创 Spherical Text Embedding 摘要速览

https://github.com/yumeng5/Spherical-Text-Embedding https://arxiv.org/abs/1911.01196 无监督文本向量表示技术在NLP任务很重要,然而之前的文本向量表示在笛卡尔空间训练得到,这样的话 在文本相似度、文档聚类任务上,训...

2020-03-12 10:10:14 75 0

原创 Set Transformer 摘要速览

https://arxiv.org/abs/1810.00825 许多机器学习任务,比如 多实体学习、3D形状识别、few-shot图像分类 被定义为实体的集合,解决这类问题时不关心集合内元素的顺序,模型不受 元素的顺序变化 影响,我们提出一种基于注意力机制的神经网络模块Set Transform...

2020-03-12 09:42:59 193 0

原创 Mac 手动更新MacOS系统

在App Store搜MacOS。。。

2020-03-12 09:30:18 245 0

原创 AutoML-Zero 摘要速览

https://github.com/google-research/google-research/tree/master/automl_zero https://arxiv.org/abs/2003.03384 AutoML-Zero aims to automatically discove...

2020-03-11 15:07:57 476 0

原创 Online Meta-Learning 摘要速览

https://arxiv.org/pdf/1902.08438.pdf 智能系统想要解决:之前训练好的模型加速新任务的训练, 有两个范式解决这个问题: meta-learning把这个问题看作:训练一个模型,这个模型在新的任务会快速适应, 相反,online (regret based) lea...

2020-03-09 19:15:28 187 0

提示
确定要删除当前文章?
取消 删除