focus

欲穷千里目，更上一层楼

RSS订阅
排序：
默认
按更新时间
按访问量

原 Homepage

Hello I am a coder and love to encode and decode. My interest starts from the database / bigdata, and then ends in the knowledge base/graph. Car...

2018-01-07 11:08:11

阅读数：317

评论数：0

原 mini textmatch 模型 + 人造少量数据，打印观测 attention 值的情况，以理解attention，或看设计的match计算模块是否有用

import tensorflow as tf # tf.enable_eager_execution() batch_size = 2 seq_length = 3 word2id = {} word2id["love&...

2018-11-14 14:46:51

阅读数：28

评论数：0

原 BERT 为什么第一个词为[CLS]

[CLS]就是classification的意思， 因为做next sentence predict任务，就取[CLS]对应的最后的隐状态过MLP， 也就是最后的[batch_size,len1+len2,hidden_size]的[batch_size,0,hidden_size]去预测是不是下...

2018-11-12 15:32:25

阅读数：16

评论数：0

转 position embedding的tensorflow实现

这里的embedding_postprocessor方法，在 https://github.com/google-research/bert/blob/master/modeling.py

2018-11-06 11:13:23

阅读数：35

评论数：1

转 tensorflow load模型时只加载能找到相同名字的部分

参考optimistic_restore方法，这里： https://github.com/brightmart/bert_language_understanding/blob/master/train_bert_fine_tuning.py

2018-11-06 10:12:09

阅读数：30

评论数：0

转 tensorflow 多GPU数据并行又一实例

https://github.com/allenai/bilm-tf/blob/master/bilm/training.py

2018-11-06 09:12:58

阅读数：29

评论数：0

原 英文token预处理，用于将英文句子处理成单词

tokenization.py # coding=utf-8 # Copyright 2018 The Google AI Language Team Authors. # # Licensed under the Apache License, Version 2.0 (the &amp...

2018-11-03 12:04:45

阅读数：62

评论数：0

原 词向量可视化在线工具

https://projector.tensorflow.org/ 按格式上传一个 和一个每行一个词的文件

2018-10-29 10:35:11

阅读数：59

评论数：0

原 cpp eigen mkl cmake CMakeLists.txt 实例

project(XgboostTextMatch) SET(XgboostTextMatch_SRC JniTest.cpp LibForJni.cpp Session.cpp ../LibSimiSent.cpp ../CEditDistance.cpp ../CScipyDistance.c...

2018-10-19 10:16:04

阅读数：40

评论数：1

原 cpp, mkl 加速 eigen 实例

安装mkl https://software.intel.com/en-us/get-started-with-mkl-for-linux 把eigen放到代码文件平行目录 使用mkl编译: mkl_test.cpp #define EIGEN_USE_MKL_ALL #include &...

2018-10-18 15:07:34

阅读数：57

评论数：0

转 讲Transformer不错的一篇文章

https://jalammar.github.io/illustrated-transformer/

2018-10-16 11:59:55

阅读数：55

评论数：0

原 tf.argmax的axis理解

import tensorflow as tf tf.enable_eager_execution() value = [[0, 1, 2, 3], [4, 5, 6, 7]] init = tf.constant_initializer(value) x = tf.get_v...

2018-10-06 15:23:32

阅读数：50

评论数：0

原 用一个自定义的数组初始化tensorflow variable

import tensorflow as tf tf.enable_eager_execution() value = [0, 1, 2, 3, 4, 5, 6, 7] init = tf.constant_initializer(value) x = tf.get_variable('x', ...

2018-10-06 14:58:27

阅读数：60

评论数：0

原 tf.nn.softmax的axis的理解

import tensorflow as tf tf.enable_eager_execution() ones = tf.ones(shape=[2,3]) temp1 = tf.nn.softmax(ones,axis=1) # 行 print(temp1) temp2 = tf.nn.sof...

2018-09-30 22:40:20

阅读数：142

评论数：0

原 tf.enable_eager_execution() 小实例

import tensorflow as tf ones = tf.ones(shape=[3,3]) print(ones) Tensor(“ones:0”, shape=(3, 3), dtype=float32) import tensorflow as tf tf.enable_eag...

2018-09-30 22:37:19

阅读数：66

评论数：0

原 各种attention的代码实现

base attention dot attention mlp attention multihead attention no attention pooling attention https://github.com/pytorch/translate/tree/master/py...

2018-09-29 20:13:55

阅读数：232

评论数：0

原 valgrind 运行 java 程序，检测 java jni 程序 内存泄露

/home/tong.guo/valgrind/bin/valgrind --trace-children=yes --show-reachable=yes --leak-check=full java -Djava.library.path=. -cp . test.JniTest

2018-09-27 16:51:05

阅读数：78

评论数：0

原 python3 hdf5文件 遍历

import h5py import numpy as np f = h5py.File('train/e1_1.hdf5') key = "" for k in f.keys(): key = k d = f[key] print(d) a = np...

2018-09-21 14:58:32

阅读数：89

评论数：0

原 lucene BM25 实例

import org.apache.lucene.analysis.standard.StandardAnalyzer; import org.apache.lucene.document.Document; import org.apache.lucene.document.Field; ...

2018-09-19 15:03:11

阅读数：82

评论数：0

原 ggnn 初步理解

看代码的话可以看懂第一次过RNN， 但要看这图才感受到后续过RNN的情况。

2018-09-18 23:15:01

阅读数：113

评论数：0

提示
确定要删除当前文章？
取消 删除
关闭
关闭