KeepSOTA Never Stop_guotong1988_CSDN博客-深度学习DeepLearning,TensorFlow,Java领域博主

原创程序员的Mac硬盘清理

主要是.git和~/.m2文件夹里的东西多啊，，每个项目的.git有3-5Gmaven的m2的文件夹有60-80G

2020-11-17 16:37:33 18

原创 lalex aclfinal 将 aclfinalfalse 改为 aclfinaltrue 后报错

发现sty文件有个\ifaclfinal没有结尾的\fi最终为\ifaclfinal\else\pagenumbering{arabic}\fi

2020-11-17 09:54:39 15

原创 150 Successful Machine Learning Models: 6 Lessons Learned at Booking.com 笔记

引言我们的任务特点简介如下：高风险推荐系统给出错误的电影、歌曲、图书，会影响客户体验无限的查询搜索查询的各种可能很大供给在变订住宿为例，价格是随节假日在变的冷启动很多顾客一年可能只出游一两次过多内容图片、描述、评论、打分，很多内容都是可用的，但问题是如何挖掘出来帮助客户模型旅行者偏好模型预测用户目的地、价格、品质、日期等偏好旅行者context模型预测用户是否结伴同行、是否一次去多个城市等等item空间导航模型为用户浏览，给用户引导用户交互界面优化模型负责字体大小、

2020-11-12 15:32:46 190 1

原创 python pip离线安装whl的下载仓库

https://pypi.org/

2020-11-06 17:23:09 27

原创报错 Tensor conversion requested dtype string for Tensor with dtype float32

最后发现还是tfrecord没找到，目录最后少了一个斜杠

2020-11-06 10:47:11 27

原创 tensorflow gather_nd实现选取阅读理解任务的start end比如

import tensorflow as tfbatch_size = 3seq_len = 5sequence_tensor = tf.constant([[[1,1],[2,2],[3,3],[4,4],[5,5]],[[6,6],[7,7],[8,8],[9,9],[10,10]],[[11,11],[12,12],[13,13],[14,14],[15,15]]])batch_index = tf.cast(tf.range(0, batch_size), tf.int32)sequ

2020-11-05 11:56:57 53

原创 performer 代码

https://github.com/google-research/google-research/tree/master/performer

2020-10-28 14:45:30 46

原创 Self-training Improves Pre-training for Natural Language Understanding 笔记

self-training，是用训练好的模型的预测结果作为伪target，混入原训练集一起训练，该文的创新在于提出一种文本相似度算法从海量文本中找出和训练集中的文本相似的文本，然后用训练好的模型对这批找出的相似的文本进行预测出伪target，然后混一起，然后是BERT fine-tune，提升了fine-tune的效果，似乎跟文章题目说的pre-train没关系。原文也提到了：...

2020-10-22 15:38:08 87

原创 Relative Position Representations

Self-Attention with Relative Position Representations摘要在原始transformer，位置信息通过加一个position的embedding实现，（因为position开始也是一个one-hot）本文提出将自注意力考虑 token之间的距离位置信息相对位置表示比绝对位置表示在机器翻译任务上提升（BERT为啥不用相对位置？感觉因为机器翻译这个任务更关注token之间的相对位置）并且发现：结合绝对位置表示和相对位置表示，没有进一步提

2020-10-14 09:53:48 30

原创 ConvBERT 阅读笔记

ConvBERT: Improving BERT with Span-based Dynamic Convolution摘要虽然BERT的从全局产生了注意力map，我们观察到一些注意力头只需要学到局部的依赖即可，也就是BERT存在冗余。于是我们提出基于区间的动态卷积来替换自注意力头来直接建模局部依赖。ConvBERT-BASE模型在GLUE达到86.4分，比ELECTRA-BASE高0.7分，同时仅用1/4的训练量。做法多头自注意力提取整体特征，卷积提取局部特征，我们提出将卷积

2020-10-13 10:23:24 180

原创 tensorflow，单机多GPU，无estimator，代码

https://github.com/zihangdai/xlnet/blob/master/train_gpu.py

2020-09-28 10:45:51 60

原创 pytorch add_

# a = a + 4 * 5import torcha = torch.tensor([1,2,3])a.data.add_(torch.tensor(4),torch.tensor(5))print(a) # tensor([21, 22, 23])

2020-09-22 20:40:05 57

原创 pytorch addcdiv 和 addcdiv_

# a = a + 4 / 2import torcha = torch.tensor([1,2,3])a.addcdiv(torch.tensor(4),torch.tensor(2))print(a) # tensor([1, 2, 3]) # 值不加a.data.addcdiv_(torch.tensor(4),torch.tensor(2))print(a) # tensor([3, 4, 5]) # 值加a = a.addcdiv(torch.tensor(4),torch.t

2020-09-22 20:37:27 38

原创 RecAdam optimizer 阅读笔记

Recall and Learn: Fine-tuning Deep Pretrained Language Models with Less Forgetting摘要在优化器角度，全任务提升BERT fine-tune的效果做法提出模拟预训练，可以fine-tune时无数据预训练提出目标Shifting，可以在模拟预训练同时训练fine-tune目标大概思想loss使之和 fine-tune之前的模型参数有关其中θ是fine-tune时模型，θ*是fine-tune之前的模型

2020-09-22 15:13:35 37

原创 Group-wise Contrastive Learning for Neural Dialogue Generation 阅读笔记

摘要为解决生成多样性低的问题思想找到正向和负向group的context和response，设计loss做法首先有其中pn是baseline模型，pm是target模型其中c是输入文本 r是回复文本，构造loss：最大化正向回复，最小化负向回复这个loss即刻画相对baseline模型的生成多样性或分布独立性正向回复和负向回复的采样，使用了BM25+匹配模型...

2020-09-21 17:07:29 50

原创 Spark Lucene BM25 TFIDF 集成

从 https://github.com/agile-lab-dev/sparksearchengine 下载源码，复制进自己的项目import it.agilelab.bigdata.spark.search.SearchableRDDimport it.agilelab.bigdata.spark.search.dsl._import it.agilelab.bigdata.spark.search.impl.analyzers.{DefaultAnalyzer, EnglishWikipedi

2020-09-16 12:11:18 27

原创 BERT fine-tune，loss不下降，训不动，固定分类到一类

语料应该没问题，不restore任何东西的话，都有效果。模型换成google官方bert，分类器代码不变，没问题。解决方案把bert_output = bert_model.get_pooled_output()改为bert_output = tf.reduce_mean(bert_model.get_sequence_output()[:,1:,:],1)...

2020-09-11 17:51:17 45

原创 tensorflow 构造非零mask

import tensorflow as tfbert_input_ids = tf.constant([[1,2,0,3],[1,0,2,0]],dtype=tf.float32)tmp = tf.sign(bert_input_ids)bert_mask = tf.cast(tmp, tf.float32)sess = tf.Session()print(sess.run(bert_mask))print(sess.run(bert_input_ids * bert_mask))pri

2020-09-04 16:27:35 35

原创 fastjson，toJSONString后入库，数据混乱

写出小testcaseobject Test { def main(args: Array[String]): Unit = { val tmpArrayList = new util.ArrayList[JSONObject]() val tmpMap = new JSONObject(true) tmpMap.put("id",1) tmpMap.put("name","hello") tmpArrayList.add(tmpMap) print(J

2020-09-03 14:08:15 32

原创 tensorflow permute

我猜是在找tf.transpose

2020-09-01 16:25:23 111

原创 Spark 取每个groupby的N条数据

如果用groupby接口的话，可能OOM，import org.apache.spark.sql.expressions.Windowimport org.apache.spark.sql.functions.{rand, row_number}val windowFun = Window.partitionBy("groupby_column").orderBy(rand())val resultDF = dataDF.withColumn("rank", row_number.over(wi

2020-08-21 09:53:50 74

转载 GPT-2 详解

http://jalammar.github.io/illustrated-gpt2/

2020-08-17 19:29:04 158

原创 SQL 去重

select name, picture_url from table_namewhere name = 'ABC' or name = 'DEF' 想对name去重，而不对picture_url去重，picture_url随便取一个就行如果写成select distinct name, picture_url from table_namewhere name = 'ABC' or name = 'DEF' 就是对name+picture_url去重解决方案：select name,

2020-08-10 15:35:18 163

原创 tf.keras.layers.Dense 在 reuse 时有坑

with tf.variable_scope("", reuse=tf.AUTO_REUSE): model_train = MyModel( is_training=True)with tf.variable_scope("", reuse=True): model_dev = MyModel( is_training=False)model_train.train(data_train, data_dev, model_dev)MyModel里有t

2020-07-17 11:52:28 262

原创 TensorFlow 构造 attention mask 或 causal mask

def upper_triangle_bias(D, dtype=tf.float32): """Create a upper triangle matrix for decoding bias.""" upper_triangle_DxD = 1 - tf.matrix_band_part( tf.ones([D, D], dtype=dtype), -1, 0) tensor_1xDxD = tf.expand_dims(upper_triangle_DxD *

2020-07-14 09:58:18 252

原创 tf.estimator tf.data 混合不同的数据

import tensorflow as tfdataset_1 = tf.data.Dataset.from_tensors(1).repeat(20)dataset_2 = tf.data.Dataset.from_tensors(2).repeat(20)dataset = tf.data.Dataset.zip((dataset_1, dataset_2))dataset = dataset.batch(8)dataset = dataset.map(lambda a, b: tf.c

2020-07-07 14:18:13 142

原创 ValueError: Paddings must be non-negative for ‘gradients/lstm_cell/Slice_257_grad/Pad‘ (op: ‘Pad‘)

同时也报错：has no attr named ‘_XlaCompile’解决方案：RNN的实现由from tensorflow.contrib.rnn import LSTMCell改为tf.keras.layers.LSTMCell

2020-07-06 17:27:58 371

原创 TensorFlow 根据condition条件选择一个batch里的部分数据

import tensorflow as tfdata_type = tf.constant([1, 2, 1, 2])where_index1 = tf.where(tf.equal(data_type, 1))where_index2 = tf.where(tf.equal(data_type, 2))data = tf.constant([[10,10],[20,20],[30,30],[40,40]])data1 = tf.gather_nd(data,where_index1)d

2020-07-06 13:06:16 268

原创 tf.estimator tf.data 处理混合的不同的数据

2020-07-06 11:10:17 140

原创 TensorFlow if语句 tensor 和非tensor 比较

import tensorflow as tfcondition = tf.placeholder(tf.int32, name="condition")A = tf.constant(value=123)B = tf.constant(value=321)def func1(): return Adef func2(): return By = tf.cond(condition > 0, func1, func2)sess = tf.Session()

2020-07-01 19:06:01 319

原创 TensorFlow 使用上个模型输出的一个向量表示来给RNN生成一段文本

import tensorflow as tffrom tensorflow.contrib.rnn import LSTMCellcell = LSTMCell(128,state_is_tuple=False)init_state = tf.random_normal([16,128]) # 可以是上一模型的输出output,new_state = cell(inputs=init_state,state=init_state)for i in range(20): outpu

2020-07-01 11:12:06 122

原创 TensorFlow 构造连续非零sequence的0/1 mask

import tensorflow as tfbert_input_ids = tf.constant([[1,2,3,0],[1,2,0,0]])sequence_len = tf.reduce_sum(tf.sign(bert_input_ids), reduction_indices=1)sequence_len = tf.cast(sequence_len, tf.int32)bert_mask_ids = tf.sequence_mask(sequence_len,4,tf.int32)

2020-06-29 17:21:56 161

原创 Linformer 阅读笔记

背景，普通的self-attentionQ 是 n x dK 是 n x dV 是 n x dQK是 n x n 继而 (QK)V 是n x d计算量最大的在于QK出n x n这步，固算Attention为O(n^2)复杂度Linformer用两个 n x k 矩阵，将 K 和 V 映射为 k x d则Q 是 n x dK 是 k x dV 是 k x dQK是 n x k 继而 (QK)V 还是n x dk如果足够小的话，证明就是O(n)复杂度算Attention了，同时，文章从

2020-06-29 10:10:22 259

原创一种貌似可以解决textmatch模型不好构造负例的方案

就是使用生成式模型，text generation，本来是判断TextA和TextB1-TextB100的match score，再对100个进行rank，改为TextA生成TextB，直接生成出score最高的TextB，不过text generation的baseline是textmatch模型+随机选择负例，还需要实验对比。...

2020-06-29 09:55:37 94

原创 python regex 返回index

import reprint([(m.start(0), m.end(0)) for m in re.finditer("天安门", "北京天安门上太阳升")])print结果：[(2, 5)]

2020-06-22 14:46:16 128

原创 CentOS yum 安装GCC 5

sudo yum install centos-release-sclsudo yum install devtoolset-4-gcc*scl enable devtoolset-4 bashwhich gccgcc --version你没看错，里面是4最后显示的版本是5.3.1

2020-06-21 22:31:18 346

原创 sh run安装cuda失败，Finished with code: 256

要先禁用nouveau保证lsmod |grep nouveau不显示信息

2020-06-20 21:01:27 2909

原创 python 正则匹配后去掉正则表达式本身

import redef remove_non_chinese(input_str): return "".join(re.findall(r'[\u4e00-\u9fa5]', input_str))sentence = "我爱北京天安门"rule = "我爱北京.{1,3}"foundall = re.findall(rule, sentence)rule_replace_part = remove_non_chinese(rule)for found in foundall:

2020-06-15 15:33:44 225

原创多GPU训练，TensorFlow Estimator input_fn 传的是每个GPU的batch_size

多GPU训练，TensorFlow Estimator input_fn 传的是每个GPU的batch_size，不用传global_batch_size

2020-06-11 14:39:35 197

原创 AliCoCo 阅读笔记

论文名：AliCoCo: Alibaba E-commerce Cognitive Concept Net引言基本电商的图谱建设都是Category-Property-Value形式，Category是一颗树，其中Property就是 Category的叶子下的属性。问题在于，用户通常不记得一个item的具体名字，而是只记得item的类别或者item其他相关信息。分类学taxonomy人工定义好taxonomy（分类学），domain有20种，主要的是Category, Brand, Colo

2020-06-08 20:11:37 222

aclImdb_v1.tar.gz|aclImdb.zip

https://huggingface.co/transformers/custom_datasets.html#seq-imdb 用到的数据

2020-11-19

tensorflow_gpu-1.15.2-cp36-cp36m-manylinux2010_x86_64.whl|tensorflow_gpu-1.15.2-cp36-cp36m-manylinux2010_x86_64.whl

An Open Source Machine Learning Framework for Everyone

2020-11-06

tensorflow_gpu-1.15.3-cp36-cp36m-manylinux2010_x86_64.whl|tensorflow_gpu-1.15.3-cp36-cp36m-manylinux2010_x86_64.whl

An Open Source Machine Learning Framework for Everyone

2020-11-06

tensorflow_gpu-1.15.0-cp36-cp36m-manylinux2010_x86_64.whl|tensorflow_gpu-1.15.0-cp36-cp36m-manylinux2010_x86_64.whl

An Open Source Machine Learning Framework for Everyone

2020-11-06

tensorflow_gpu-1.15.4-cp36-cp36m-manylinux2010_x86_64.whl|tensorflow_gpu-1.15.4-cp36-cp36m-manylinux2010_x86_64.whl

An Open Source Machine Learning Framework for Everyone

2020-11-06

tensorflow-1.14.0-cp36-cp36m-macosx_10_11_x86_64.whl|tensorflow-1.14.0-cp36-cp36m-macosx_10_11_x86_64.whl.zip

tensorflow 离线安装包 An Open Source Machine Learning Framework for Everyone

2020-10-27

tensorflow-2.3.0-cp36-cp36m-macosx_10_11_x86_64.whl|tensorflow-2.3.0-cp36-cp36m-macosx_10_11_x86_64.whl

tensorflow 离线安装包 An Open Source Machine Learning Framework for Everyone

2020-10-27

annotated_wikisql_and_PyTorch_bert_param.zip|annotated_wikisql_and_PyTorch_bert_param.zip

自然语言转SQL的SOTA项目https://github.com/guotong1988/NL2SQL-RULE 的完整数据

2020-10-22

annotated_wikisql_and_PyTorch_bert_param.zip|annotated_wikisql_and_PyTorch_bert_param.zip

自然语言转SQL任务 https://github.com/guotong1988/NL2SQL-RULE 用的数据

2020-10-19

NeurIPS上讲解XLNet的PPT|slides.pdf

An auto-regressive model that captures bidirectional context

2020-09-29

XLNet的预训练模型 cased_L-12_H-768_A-12.zip|cased_L-12_H-768_A-12.zip

XLNet的预训练好的模型文件，来自 https://github.com/zihangdai/xlnet

2020-09-28

mingw-insight-6.3.rar

这里所说用到的文件http://blog.csdn.net/guotong1988/article/details/42123831

2014-12-24

linux-0.11-gdb.rar

这里所说用到的文件http://blog.csdn.net/guotong1988/article/details/42123831

2014-12-24

insight-6.8a源码

有了这个就可以看这个帖子 http://www.oldlinux.org/oldlinux/viewthread.php?tid=10837 改改了

2014-12-25

Bochs-2.1.1.exe for windows

2014-12-23

linux 0.11 研究用编译到运行整套

1、下载一个带有 gcc 1.40 编译环境的 Linux 0.11 系统软件包。 http://oldlinux.org/Linux.old/bochs/linux-0.11-devel-040329.zip 2、解压linux-0.11-devel-040329.zip 3、安装Bochs: 在解压的目录里有Bochs安装文件：Bochs-2.1.1.exe，点击安装 4、把解压下的大多数文件拷贝到安装目录下（除了Bochs-2.1.1.exe） 5、双击bochsrc-hd.bxrc运行，能运行起来说明，安装成功 6、运行bochs, 在进入目录/usr/src/linux后键入make命令, 即可编译 Linux 0.11 内核源代码 make clean ## 来清除所有编译好的*.o文件或其它模块 make ## 重新编译出现错误： gcc-cc1: Invalid option "string-insns" 请将每个Makefile文件中的-mstring-insns参数去掉。每个子目录中都有一个，kernel目录下还有三个驱动程序子目录(math, blk_drv, chr_drv) (/usr/src/linux,fs,lib,kernel,kernel/blk_drv,kernel/chr_drv,kernel/math) 同时，到/usr/local/bin中把ar 改名为gar, 或者复制一个修改完后再执行 make clean make 7、make成功后生成引导启动映象文件Image。若需要输出这个Image文件, 可以首先备份bootimage-0.11-hd文件, 然后使用下面命令就会把bootimage-0.11-hd替换成新的引导启动文件 dd bs=8192 if=Image of=/dev/fd0 注意此处是把编译完的Image（启动映象文件）输出到/dev/fd0，注意此处的/dev/fd0实际上就是bochs中定义的floppya: 1_44="bootimage-0.11-hd", status=inserted，也就是要替换"bootimage-0.11-hd" 8、直接重新启动 Bochs 即可使用该新编译生成的 bootimage-0.11-hd 来引导系统。 9、如果不相信，可以修改bootsect.s然后重新编译，就可以看到启动的时候 Loading system...create by happy （还要执行# dd bs=8192 if=Image of=/dev/fd0）嘿嘿，可以任意修改，主要修改几个地方： ! Print some inane message mov ah,#0x03 ! read cursor pos xor bh,bh int 0x10 mov cx,#47 mov bx,#0x0007 ! page 0, attribute 7 (normal) mov bp,#msg1 mov ax,#0x1301 ! write string, move cursor int 0x10 msg1: .byte 13,10 .ascii "Loading system ...this is create by happy" .byte 13,10,13,10 .org 508

2014-12-23