NLP Never Stop_guotong1988_CSDN博客-Java,深度学习DeepLearning,TensorFlow领域博主

原创 textmatch（文本匹配）模型输出score卡阈值一个细节

最后输出结果是[batch_size,2]，但不是通过[:,0]和[:,1]的大小相比得出结果，而是取[:,1]然后卡阈值。

2020-06-01 19:20:49 11 0

原创一种LaTex的table，emnlp的

{\renewcommand{\arraystretch}{1.0} \begin{table*}[!ht] \centering { \begin{tabular}{L{0.85\columnwidth}|C{0.2\columnwidth}C{0.2\columnwidth}|C{0.2\co...

2020-05-27 09:53:40 29 0

原创 Spark java.lang.ClassCastException 无其他报错提示

spark集群上跑报 java.lang.ClassCastException 这个错，然后没有报哪个Class不能Cast 最终发现是有个Double到Long的强转，，

2020-05-22 16:22:26 51 0

原创 BERT 多GPU比单GPU优势不大

https://github.com/NVIDIA/DeepLearningExamples/blob/master/TensorFlow/LanguageModeling/BERT

2020-05-21 13:55:54 99 0

原创 TensorFlow 一些多GPU用MirroredStrategy的代码

https://www.tensorflow.org/guide/distributed_training https://www.tensorflow.org/tutorials/distribute/custom_training https://github.com/tensorflow/...

2020-05-20 10:08:16 73 0

原创 BERT 多GPU horovod 代码

https://github.com/NVIDIA/DeepLearningExamples/blob/master/TensorFlow/LanguageModeling/BERT/run_pretraining.py

2020-05-19 15:25:47 33 0

原创 TensorFlow 多机多卡代码

https://github.com/GoogleCloudPlatform/tf-estimator-tutorials/tree/master/Experimental/distribution

2020-05-19 09:18:32 41 0

原创 pytorch pad 实例

import torch tensor = torch.Tensor([[[1,1],[2,2],[3,3]],[[4,4],[5,5],[6,6]]]) print(tensor.shape) print(tensor) pad_tensor = torch.constant_pad_nd(te...

2020-05-09 19:30:15 69 0

原创 huggingface / transformers 的BERT从本地加载

https://github.com/huggingface/transformers/issues/856

2020-05-09 15:20:04 165 0

原创销量等大数值特征输入深度模型

一个特征的值如果是 100000、150000 这样的，怎么输入到模型里？比如这个特征就是销量？决策树直接输入，普通模型做下上下界截断然后做一些log或者sqrt的处理，大模型可以离散化，直接int离散化或者做log后离散化都行 ...

2020-04-29 17:23:47 58 0

原创 TensorFlow 的KL divergence的实现

def kl_for_log_probs(log_p, log_q): p = tf.exp(log_p) neg_ent = tf.reduce_sum(p * log_p, axis=-1) neg_cross_ent = tf.reduce_sum(p * log_q...

2020-04-28 19:17:08 111 0

原创 Differentiable Reasoning over a Virtual Knowledge Base 代码

https://github.com/google-research/language/tree/master/language/labs/drkit

2020-04-28 16:28:49 96 0

原创 AutoPhrase 阅读笔记

论文名：Automated Phrase Mining from Massive Text Corpora 摘要本文研究关键短语提取，研究无监督的，使用了通用知识库信息来做，使用了词性信息提升效果，引言 Phrase mining的意思是短语（实体、关键词）提取，本文贡献：使用通用知识库的...

2020-04-28 15:25:52 123 0

原创 BERT加速，BERT inference加速，BERT实用加速

从头预训练一个针对的那1个任务的3层BERT，保持预训练和inference时的一致性，速度加速4倍，精度不变。

2020-04-28 10:24:33 91 0

原创 spark 2.2 只有1个worker在跑

partitions数量没设置， dataframe.repartition(100)

2020-04-27 14:42:14 41 0

原创 gitignore 刷新

https://stackoverflow.com/questions/38450276/force-git-to-update-gitignore

2020-04-15 17:03:39 48 0

原创 tensorflow 一个模型两个学习率

tvars = tf.trainable_variables() var_list1 = [var for var in tvars if "bert" in var.name] var_list2 = [var for var in tvars if "bert&q...

2020-04-15 15:43:33 61 0

原创 spark，在左表右表都有重复数据的情况下，left join之后数据数量等于左表

给左表人工加一个id列，最后按这个id列distinct就行了。

2020-04-14 13:51:46 102 0

原创 spark groupby之后再展开实例

import org.apache.spark.sql.{Row, SparkSession} object Test { def main(args: Array[String]): Unit = { val spark = SparkSession.builder.appNam...

2020-04-14 12:27:48 60 0

原创 imdb、SST-1、SST-2、yelp-2013、yelp-2014 文本分类数据集

https://github.com/JerrikEph/Capsule4TextClassification/blob/master/data/downloadDataset.md

2020-04-10 15:25:36 235 0

原创短文本分类数据集（英文）

https://opendata.stackexchange.com/questions/6080/data-sets-for-short-text-classification

2020-04-10 13:15:33 113 0

原创 pycharm debug F8 slow / variable not show

Preference --> python debugger --> Gevent compatible 勾选后重跑

2020-04-10 11:21:59 31 1

原创 tensorflow 构造对角线为0的矩阵，并mask

import tensorflow as tf sess = tf.Session() input = tf.ones([2,3,3])*2 mask1 = tf.ones([3,3]) mask2 = tf.diag(tf.ones([3])) mask = mask1 - mask2 pr...

2020-04-09 11:47:14 87 0

原创 tensorflow 构造对角线为1的矩阵，并mask

import tensorflow as tf sess = tf.Session() input = tf.ones([2,3,3])*2 mask = tf.diag(tf.ones([3])) print(sess.run(mask)) print(sess.run(input * ma...

2020-04-09 11:40:26 113 0

原创 ICLR 2020 ENERGY BASED MODEL 摘要速览

YOUR CLASSIFIER IS SECRETLY AN ENERGY BASED MODEL AND YOU SHOULD TREAT IT LIKE ONE https://openreview.net/group?id=ICLR.cc/2020/Conference#accept-tal...

2020-04-09 10:38:24 69 0

原创矩阵分解的一些理解

attention matrix 是一个 [batch_size, sequence_len1, hidden_size] 的tensor和一个 [batch_size, sequence_len2, hidden_size] 的tensor得到的 [batch_size, sequence_le...

2020-04-03 15:01:26 82 0

原创 Structural Deep Clustering Network 摘要速览

https://arxiv.org/pdf/2002.01633.pdf Clustering is a fundamental task in data analysis. Recently, deep clustering, which derives inspiration primaril...

2020-04-01 10:31:38 139 0

原创 LambdaNet 摘要速览

LAMBDANET: PROBABILISTICTYPEINFERENCEUSINGGRAPHNEURALNETWORKS https://openreview.net/group?id=ICLR.cc/2020/Conference 代码补全，即自动推断变量类型，在Python和TypeScri...

2020-03-20 09:53:46 74 0

原创 spark 报错 No Encoder found for Iterable

查看了一下map每个返回的是immutable.Iterable[MyClass]，调用toSeq方法就行了。

2020-03-18 18:10:24 89 0

原创 deterministic variational inference for robust BNNs 摘要速览

DETERMINISTIC VARIATIONAL INFERENCE FOR ROBUST BAYESIAN NEURAL NETWORKS https://openreview.net/group?id=ICLR.cc/2019/Conference 贝叶斯网络在只有有限数据训练时很不错，...

2020-03-16 10:47:34 75 0

原创 BA-NET 摘要速览

https://openreview.net/group?id=ICLR.cc/2019/Conference BA-NET: DENSE BUNDLE ADJUSTMENT NETWORKS 本文介绍一个网络结构，来解决 structure-from-motion（SfM）问题，通过特征矩阵 ...

2020-03-16 10:14:02 54 0

原创 NS-CL 摘要速览

https://openreview.net/group?id=ICLR.cc/2019/Conference THE NEURO-SYMBOLIC CONCEPT LEARNER: INTERPRETING SCENES, WORDS, AND SENTENCES FROM NATURAL SU...

2020-03-15 20:34:42 62 0

原创 how powerful are GNNs? 摘要速览

我们对GNN的表示性质和局限了解有限，这里，我们提出一个理论框架来分析GNN的表示能力，我们的研究灵感来自Weisfeiler-Lehman (WL) 图同构测试，本文的贡献有4点： 1）我们显示GNN最多和WL测试一样能区分图结构， 2）我们建立条件 on the neighbor aggr...

2020-03-15 20:15:20 52 0

原创 GEN Encoder 摘要速览

Generic Intent Representation in Web Search 本文提出GEneric iNtent Encoder (GEN Encoder)，为用户搜索意图训练一个向量表示，使用大规模必应搜索的用户点击日志作为用户意图的弱监督 GEN Encoder 端对端的训练将...

2020-03-13 11:20:38 38 0

原创正则表达式匹配任意零个到多个字符

import re print(re.findall("防治.{1,2}动脉硬化","防治动脉硬化")) print(re.findall("防治.{1,2}动脉硬化","防治高血压动脉硬化")) print(r...

2020-03-12 18:05:57 538 0

原创 Spherical Text Embedding 摘要速览

https://github.com/yumeng5/Spherical-Text-Embedding https://arxiv.org/abs/1911.01196 无监督文本向量表示技术在NLP任务很重要，然而之前的文本向量表示在笛卡尔空间训练得到，这样的话在文本相似度、文档聚类任务上，训...

2020-03-12 10:10:14 75 0

原创 Set Transformer 摘要速览

https://arxiv.org/abs/1810.00825 许多机器学习任务，比如多实体学习、3D形状识别、few-shot图像分类被定义为实体的集合，解决这类问题时不关心集合内元素的顺序，模型不受元素的顺序变化影响，我们提出一种基于注意力机制的神经网络模块Set Transform...

2020-03-12 09:42:59 193 0

原创 Mac 手动更新MacOS系统

在App Store搜MacOS。。。

2020-03-12 09:30:18 245 0

原创 AutoML-Zero 摘要速览

https://github.com/google-research/google-research/tree/master/automl_zero https://arxiv.org/abs/2003.03384 AutoML-Zero aims to automatically discove...

2020-03-11 15:07:57 476 0

原创 Online Meta-Learning 摘要速览

https://arxiv.org/pdf/1902.08438.pdf 智能系统想要解决：之前训练好的模型加速新任务的训练，有两个范式解决这个问题： meta-learning把这个问题看作：训练一个模型，这个模型在新的任务会快速适应，相反，online (regret based) lea...

2020-03-09 19:15:28 187 0