自定义博客皮肤VIP专享

*博客头图：

格式为PNG、JPG，宽度*高度大于1920*100像素，不超过2MB，主视觉建议放在右侧，请参照线上博客头图

请上传大于1920*100像素的图片！

博客底图：

图片格式为PNG、JPG，不超过1MB，可上下左右平铺至整个背景

栏目图：

图片格式为PNG、JPG，图片宽度*高度为300*38像素，不超过0.5MB

主标题颜色：

RGB颜色，例如：#AFAFAF

Hover：

RGB颜色，例如：#AFAFAF

副标题颜色：

RGB颜色，例如：#AFAFAF

预览 取消 提交

自定义博客皮肤

-+
上一步保存

不是phd的phd

github.com/guotong1988

我也要用
  • 博客(10)
  • 资源 (378)
  • 论坛 (89)
  • 问答 (36)
  • 收藏
  • 关注
全部文章> 2020年09月
排序：
按最后发布时间
按访问量
RSS订阅
12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

原创 tensorflow，单机多GPU，无estimator，代码

https://github.com/zihangdai/xlnet/blob/master/train_gpu.py

2020-09-28 10:45:51 143

原创 pytorch add_

# a = a + 4 * 5import torcha = torch.tensor([1,2,3])a.data.add_(torch.tensor(4),torch.tensor(5))print(a) # tensor([21, 22, 23])

2020-09-22 20:40:05 153

原创 pytorch addcdiv 和 addcdiv_

# a = a + 4 / 2import torcha = torch.tensor([1,2,3])a.addcdiv(torch.tensor(4),torch.tensor(2))print(a) # tensor([1, 2, 3]) # 值不加a.data.addcdiv_(torch.tensor(4),torch.tensor(2))print(a) # tensor([3, 4, 5]) # 值加a = a.addcdiv(torch.tensor(4),torch.t

2020-09-22 20:37:27 149

原创 RecAdam optimizer 阅读笔记

Recall and Learn: Fine-tuning Deep Pretrained Language Models with Less Forgetting摘要在优化器角度，全任务提升BERT fine-tune的效果做法提出 模拟预训练，可以fine-tune时 无数据预训练提出 目标Shifting，可以在 模拟预训练 同时训练fine-tune目标大概思想loss使之和 fine-tune之前 的模型参数有关其中θ是fine-tune时模型，θ*是fine-tune之前的模型

2020-09-22 15:13:35 129

原创 Group-wise Contrastive Learning for Neural Dialogue Generation 阅读笔记

摘要为解决生成多样性低的问题思想找到正向和负向group的context和response，设计loss做法首先有其中pn是baseline模型，pm是target模型其中c是输入文本 r是回复文本，构造loss：最大化正向回复，最小化负向回复这个loss即刻画 相对baseline模型的生成多样性 或 分布独立性正向回复和负向回复的采样，使用了BM25+匹配模型...

2020-09-21 17:07:29 155

原创 Spark Lucene BM25 TFIDF 集成

从 https://github.com/agile-lab-dev/sparksearchengine 下载源码，复制进自己的项目import it.agilelab.bigdata.spark.search.SearchableRDDimport it.agilelab.bigdata.spark.search.dsl._import it.agilelab.bigdata.spark.search.impl.analyzers.{DefaultAnalyzer, EnglishWikipedi

2020-09-16 12:11:18 118

原创 BERT fine-tune，loss不下降，训不动，固定分类到一类

语料应该没问题，不restore任何东西的话，都有效果。模型换成google官方bert，分类器代码不变，没问题。解决方案把bert_output = bert_model.get_pooled_output()改为bert_output = tf.reduce_mean(bert_model.get_sequence_output()[:,1:,:],1)...

2020-09-11 17:51:17 123

原创 tensorflow 构造非零mask

import tensorflow as tfbert_input_ids = tf.constant([[1,2,0,3],[1,0,2,0]],dtype=tf.float32)tmp = tf.sign(bert_input_ids)bert_mask = tf.cast(tmp, tf.float32)sess = tf.Session()print(sess.run(bert_mask))print(sess.run(bert_input_ids * bert_mask))pri

2020-09-04 16:27:35 42

原创 fastjson，toJSONString后入库，数据混乱

写出小testcaseobject Test { def main(args: Array[String]): Unit = { val tmpArrayList = new util.ArrayList[JSONObject]() val tmpMap = new JSONObject(true) tmpMap.put("id",1) tmpMap.put("name","hello") tmpArrayList.add(tmpMap) print(J

2020-09-03 14:08:15 40 1

原创 tensorflow permute

我猜是在找tf.transpose

2020-09-01 16:25:23 134

glove.840B.300d 词向量
著名的glove词向量，上Billion个词，每个词N维，可用于深度模型初始化，BERT之后仍有其价值

2020-07-06

大规模新闻文本分类数据集
大规模新闻文本分类数据集，有多个领域，按文件夹摆放，不仅可以用来做文本分类实验，数据不少甚至可以用来做BERT预训练

2020-07-01

Python-3.6.8.tgz
Python-3.6.8源码安装包 ./configure --prefix=/your_path make make install

2019-12-16

cuda_10.0.130_410.48_linux.run
cuda10 CentOS7 Linux runfile 安装文件，网速慢的用户用， 安装前要先禁用nouveau，

2020-06-21

bochs-2.6.2 .tar.gz
bochs-2.6.2 .tar.gz

2013-06-14

resnext101_64x4d-ee2c6f71.pth
mmdetection里用的预训练模型resnext的，放在AWS上的，国内下载不便，放在CSDN方便大家下载

2020-06-22

glove.twitter.27B.200d.txt
GloVe is an unsupervised learning algorithm for obtaining vector representations for words. Training is performed on aggregated global word-word co-occurrence statistics from a corpus, and the resulting representations showcase interesting linear substructures of the word vector space.

2018-04-10

cudnn 7.6.4 linux
cudnn 7.6.4 的so文件，配合cuda10.0，配合TensorFlow1.14，export LD_LIBRARY_PATH使用

2020-04-15

glove.42B.300d 词向量
著名的glove词向量，上Billion个词，每个词N维，可用于深度模型初始化，BERT之后仍有其价值

2020-07-06

一篇讲蒙特卡罗树搜索的文档
A Survey of Monte Carlo Tree Search Methods

2017-08-04

_bz2.cpython-36m-x86_64-linux-gnu.so
Python3.6的bz2模块需要的so文件，可复制到lib/python3.6/lib-dynload使用

2017-10-30

libcudnn.so.6
cudnn-8.0-linux-x64-v6.0.tgz

2017-08-02

讲GCN的最好的资料
Thomas Kipf亲自做的，非常详细，细致，很有收获！

2018-08-30

pointer network 用到的数据
https://github.com/devsisters/pointer-network-tensorflow 的 tsp_10_train.zip

2017-07-14

pytorch resnet 152 模型参数数据
pytorch resnet 152 模型参数数据 pytorch resnet 152 模型参数数据 pytorch resnet 152 模型参数数据 pytorch resnet 152 模型参数数据 pytorch resnet 152 模型参数数据 pytorch resnet 152 模型参数数据

2017-12-29

freebase的entity id到真实数据的映射 数据集
freebase的实体id到真实实体的映射 数据集

2017-06-09

FB15K 数据集
用在此处 https://github.com/thunlp/OpenKE For training, datasets contain three files: train2id.txt: training file, the first line is the number of triples for training. Then the follow lines are all in the format (e1, e2, rel). entity2id.txt: all entities and corresponding ids, one per line. The firs

2018-03-02

freebase-FB2M数据
freebase-FB2M数据 freebase-FB2M数据 freebase-FB2M数据

2017-06-19

aclImdb_v1.tar.gz
https://huggingface.co/transformers/custom_datasets.html#seq-imdb 用到的数据

2020-11-19

train-images-idx3-ubyte.gz 和 train-labels-idx1-ubyte.gz

train-images-idx3-ubyte.gz train-labels-idx1-ubyte.gz t10k-images-idx3-ubyte.gz t10k-labels-idx1-ubyte.gz

2020-12-03

基于知识图谱的问答系统综述
Question Answering over Knowledge Bases

2016-09-19

CLUE打包后1G的中文预训练数据
用于BERT预训练，Bidirectional Encoder Representation from Transformers

2020-07-11

resnet50-19c8e357.pth.zip
mmdetection里用的预训练模型resnet的，放在AWS上的，国内下载不便，放在CSDN方便大家下载

2020-06-22

DBeaver数据库管理工具
数据库管理工具

2014-09-24

NLTK wordnet_ic.zip
WordNet-InfoContent id: wordnet_ic; size: 12056682; author: ; copyright: ; license: ;

2019-12-02

tensorflow_gpu-1.15.0-cp36-cp36m-manylinux2010_x86_64.whl
An Open Source Machine Learning Framework for Everyone

2020-11-06

WebQuestions 数据集
main/ has the dataset splits as distributed. d-dump/ has question dumps from YodaQA. d-freebase/ has mappings from question to single Freebase key, as distributed with the original WebQuestions dataset. d-freebase-mids/ has Freebase mids for each concept in each question, based on YodaQA entity link

2018-03-02

onnxruntime-1.5.2.zip
https://github.com/microsoft/onnxruntime/releases 方便下载

2020-12-04

onnxruntime-1.5.3.zip
https://github.com/microsoft/onnxruntime/releases 方便下载

2020-12-04

onnxruntime-1.5.2.jar
onnx的java包，pom引入后可以试验java调用onnx文件进行cpu模型推理。 具体见https://github.com/microsoft/onnxruntime/blob/master/java/src/test/java/sample/ScoreMNIST.java 和 https://github.com/microsoft/onnxruntime/blob/master/docs/Java_API.md#getting-started

2020-12-03

How to write a good CVPR submission
MIT计算机大牛Bill Freeman教授于2014年写的报告，虽然比较久远，但非常有参考意义。How to write a good CVPR submission

2020-11-27

tensorflow_gpu-1.15.2-cp36-cp36m-manylinux2010_x86_64.whl
An Open Source Machine Learning Framework for Everyone

2020-11-06

tensorflow_gpu-1.15.3-cp36-cp36m-manylinux2010_x86_64.whl
An Open Source Machine Learning Framework for Everyone

2020-11-06

tensorflow_gpu-1.15.4-cp36-cp36m-manylinux2010_x86_64.whl
An Open Source Machine Learning Framework for Everyone

2020-11-06

tensorflow-1.14.0-cp36-cp36m-macosx_10_11_x86_64.whl
tensorflow 离线安装包 An Open Source Machine Learning Framework for Everyone

2020-10-27

tensorflow-2.3.0-cp36-cp36m-macosx_10_11_x86_64.whl
tensorflow 离线安装包 An Open Source Machine Learning Framework for Everyone

2020-10-27

annotated_wikisql_and_PyTorch_bert_param.zip
自然语言转SQL的SOTA项目https://github.com/guotong1988/NL2SQL-RULE 的完整数据

2020-10-22

annotated_wikisql_and_PyTorch_bert_param.zip
自然语言转SQL任务 https://github.com/guotong1988/NL2SQL-RULE 用的数据

2020-10-19

NeurIPS上讲解XLNet的PPT
An auto-regressive model that captures bidirectional context

2020-09-29

XLNet的预训练模型 cased_L-12_H-768_A-12.zip
XLNet的预训练好的模型文件，来自 https://github.com/zihangdai/xlnet

2020-09-28

查看更多

编译时 java -d 是什么意思？

发表于 2011-01-20 最后回复 2020-03-26

android 怎么输出变量的的值到log

发表于 2011-06-09 最后回复 2020-03-12

guotong1988的留言板

发表于 2020-01-02 最后回复 2020-01-02

请问linux里的 # 和 $ 都有什么意思啊？

发表于 2011-01-24 最后回复 2018-06-19

问下付费VIP能扩大上传资源权限到500M吗

发表于 2017-12-04 最后回复 2017-12-04

怎么用html里的button里的onclick的运行一段java

发表于 2011-02-23 最后回复 2017-09-30

linux里面有很多goto，为什么明确不提倡用goto

发表于 2012-01-14 最后回复 2017-08-05

华为手机的AI部门 和 联想的AI部门 去哪个

发表于 2016-11-20 最后回复 2016-11-21

做AI的话是搞 底层框架大牛 和 应用层业务大牛 哪个有前途？

发表于 2016-11-20 最后回复 2016-11-21

什么情况下用plsql?

发表于 2015-03-12 最后回复 2016-10-26

为什么我是博客专家了还是不能把微博搞上

发表于 2016-01-25 最后回复 2016-01-28

创业公司老板兼CTO把我们看成打杂的怎么办？？？

发表于 2014-11-14 最后回复 2016-01-15

一段scala代码读不懂。。。

发表于 2015-03-02 最后回复 2015-04-22

jsp问题，入门级，求助啊！！！ 搜遍了网上方法，（附图）

发表于 2015-03-18 最后回复 2015-03-24

Java 线程共用run方法里的代码段吗？

发表于 2014-11-24 最后回复 2015-03-02

为什么列式数据库适用于OLAP，行式数据库适用于OLTP？

发表于 2014-10-18 最后回复 2015-03-02

问下搞机器学习的童鞋，都用什么数据库，还是不用数据库？

发表于 2015-02-05 最后回复 2015-03-02

如何把 linux0.11更高的版本 用bochs编译并运行

发表于 2014-12-23 最后回复 2015-03-02

小弟今年27了，该不该跳这个槽，明天给那边回复

发表于 2015-02-01 最后回复 2015-03-02

有多少人和我一样觉得老板兼CTO从不考虑员工所想的

发表于 2014-11-11 最后回复 2015-01-04

从mysql、oracle、sqlserver、db2里取数据，怎样取最快？

发表于 2014-11-12 最后回复 2014-11-19

世界上有哪些非计算机专业出身的IT精英？

发表于 2014-11-09 最后回复 2014-11-11

求推荐一款优秀的开源的数据库管理工具，可以支持mysql、oracle、sqlserver、db2等。

发表于 2014-11-06 最后回复 2014-11-09

the import com.mysql can not be resolved 请问

发表于 2011-02-21 最后回复 2014-10-31

怎么把 指针b的指向的地址作为值 放到指针a指向的地址里？

发表于 2014-10-19 最后回复 2014-10-19

Java，我有一个外网IP比如7.7.7.7:port的server，想和一内网192.168.0.13client通信，server端求个java小例子

发表于 2013-08-27 最后回复 2014-10-18

windows核心编程 看不懂

发表于 2012-02-25 最后回复 2014-03-14

各位大侠，什么书有讲C++多线程的知识？

发表于 2012-02-20 最后回复 2013-08-27

各位大侠，什么书里有讲P，V操作的？

发表于 2012-03-04 最后回复 2013-08-27

as3 addchild（） 的机制？？？？？？？？

发表于 2011-09-05 最后回复 2013-07-28

如何实现比如五子棋的联机对战，在iphone上，主要是网络编程方面

发表于 2011-06-10 最后回复 2012-11-23

谁帮我详细解释下这句： <script type="text/javascript">

发表于 2011-02-21 最后回复 2012-09-20

比如做一个 绑定IE首页的程序 需要什么知识？看什么书？

发表于 2012-02-19 最后回复 2012-02-20

做游戏 美工 和 程序 可否都学？

发表于 2012-02-16 最后回复 2012-02-19

各位大侠 想做游戏 程序 和 美工 可不可以都学？

发表于 2012-02-16 最后回复 2012-02-19

哪里可以做业余项目？

发表于 2012-02-05 最后回复 2012-02-16

征女友，见头像

发表于 2012-02-05 最后回复 2012-02-05

大家怎么看 程序实现 和 更好的实现 这件事？

发表于 2011-11-01 最后回复 2012-01-20

大家怎么看 程序功能实现 和 更好的实现 这件事？

发表于 2011-11-01 最后回复 2011-11-11

android的调试速度怎么这么慢

发表于 2011-10-28 最后回复 2011-11-01

查看更多

现在机器学习的库都是Python的，而服务器貌似是Java性能最好，怎么处理这个问题？

2016-11-22

gdb都能调试什么类型的文件？

2016-10-17

Spark里一行scala代码看不懂？

2016-02-29

spark example 有个地方看不懂

2016-02-01

maven，自己的 程序包不存在？

2015-12-03

如何寻找一个java文件的所有import的java，把这些所有java都打到一个jar包，自动化？

2015-12-03

Eclipse有办法打Jar包时自动解决（自身项目内的）依赖问题吗？

2015-12-03

google的protobuf比这样java原生的方式更有效率吗？

2015-11-19

.h文件里定义了一个类，怎么链接到so文件里？

2015-09-09

cocos2d-x lua怎么滤色？

2015-09-02

看jvm某个类的成员变量的值

2015-08-28

JAVA怎么从特定【行】开始读字串？

2015-08-24

一小段scala代码看不懂？

2015-08-21

scala如何初始化一个Tuple3数组？

2015-08-18

用jstack看到的WAITING和BLOCK的区别的是什么

2015-08-18

linux搭建spark源码环境，执行build/sdt gen-idea要twitter东西？

2015-08-14

Spark里的DAG是怎么回事？

2015-08-12

invoke方法如何加-Xmx2000M之类的VM参数

2015-08-03

spark1.2里的一小段scala代码看不懂

2015-03-03

为什么数据库要插入数据后再建B-Tree等结构的索引，而不是边插边建？

2015-03-24

Spark哪些分布式计算可以脱离HDFS跑？

2015-07-03

akka 简单例子总是 not delivered和dead letters encountered

2015-07-09

Eclipse里如何debug跟踪MapReduce程序到hadoop源码里？

2015-07-31

有没有自动生成复杂sql的软件？

2015-07-14

java swing awt， 如何实现一个按钮按下之后刷新界面

2015-07-03

java正则表达式，怎么写一个match包含空格的pattern？

2015-06-04

java正则表达式，如何表示一个非某个字符的匹配

2015-06-04

为什么hdfs不支持随机写？

2015-03-11

java项目里什么情况下用PL/SQL?

2015-03-12

jsp问题，入门级，求助啊！！！ 搜遍了网上方法，（附图）

2015-03-18

比较新的MinGW5怎么用啊？

2014-12-24

有几百个进程却只有几G的内存，求解释这几百个进程如何共享内存的？

2015-01-05

bochs里面运行的linux可以和外面通信吗？

2014-12-23

求大神解释下NUMA、UMA、SMP这三种CPU架构？

2014-12-22

github ，merge后我的fork自动ahead于‘主干’1commit

2014-12-18

java 线程共用代码段吗？

2014-11-24

TA创建的收藏夹 TA关注的收藏夹

TA关注的人 TA的粉丝

提示
确定要删除当前文章？
取消 删除