SOTA

only focus can do it

virtual adversarial loss的tensorflow实现

def virtual_adversarial_loss(logits, embedded, inputs, logits_from_embedding_fn): """Virtual adversaria...

2019-05-20 15:42:50

阅读数 47

评论数 0

adversarial loss的tensorflow实现

def adversarial_loss(embedded, loss, loss_fn): """Adds gradient to embedding and recomputes classification loss.""" ...

2019-05-20 15:40:34

阅读数 49

评论数 0

Virtual Adversarial Training的pytorch实现

def kl_categorical(p_logit, q_logit): p = F.softmax(p_logit, dim=-1) _kl = torch.sum(p * (F.log_softmax(p_logit, dim=-1) - ...

2019-05-20 15:34:06

阅读数 41

评论数 0

Adversarial Training的pytorch的实现

def at_loss(embedder, encoder, clf, batch, perturb_norm_length=5.0): embedded = embedder(batch) # [seq_len,batch,hidden_dim] embedded.retain_...

2019-05-20 15:31:59

阅读数 45

评论数 0

pytorch的Entropy Minimization (EM) 的实现

# p_logit: [batch,class_num] def entropy_loss(p_logit): p = F.softmax(p_logit, dim=-1) return -1 * torch.sum(p * F.log_softmax(p_logit, dim=-...

2019-05-16 14:49:08

阅读数 15

评论数 0

pytorch 的KL divergence的实现

import torch.nn.functional as F # p_logit: [batch,dim0] # q_logit: [batch,dim0] def kl_categorical(p_logit, q_logit): p = F.softmax(p_logit, dim...

2019-05-16 14:23:56

阅读数 13

评论数 0

pytorch pack_padded_sequence 实例 使用

https://github.com/guotong1988/sqlova-debug-read/blob/master/sqlova/utils/utils_wikisql.py#L223

2019-05-08 11:58:22

阅读数 18

评论数 0

sqlova/很多wikisql模型 里的 table-aware 的意思

问题和表头都作为BERT的输入,两者的信息在BERT层就有交互, During question encoding stage, the headers from corresponding tables are used

2019-05-08 11:47:46

阅读数 48

评论数 0

Can't pickle local object

python3,windows 把 import pickle 改成 import dill as pickle

2019-05-05 15:19:04

阅读数 21

评论数 0

opencv python 入门实例

import cv2 import numpy as np img=np.ones((512,512,3), np.uint8)*255 cv2.circle(img,center=(256,256), radius=128, color=(0,0,255), thickness=-1) ...

2019-04-29 11:07:46

阅读数 29

评论数 0

The Evolved Transformer 学习笔记

摘要 通过neural architecture search的方法提升普通transformer, 速度比普通transformer提升两倍, 效果在机器翻译比普通transformer提升0.7 BLEU neural architecture search 设计出一些可能的神经网络结构,分别...

2019-04-24 09:39:35

阅读数 95

评论数 0

cpp 判断中文英文

bool is_chinese(const string& str) { unsigned char utf[4] = { 0 }; unsigned char unicode[3] = { 0 }; bool res = false; for (i...

2019-04-16 17:06:25

阅读数 57

评论数 0

pix2pix 学习笔记

利用condition-GAN,以一图输入作为condition,生成一图,以完成image-to-image translation这个任务, 而普通的GAN貌似只是噪声作为输入,

2019-04-12 10:24:42

阅读数 85

评论数 0

cmake add_custom_command 无效

加上SOURCES试试,如下 #... set(PROTO_DIR ${CMAKE_SOURCE_DIR}/src/protos) set(PROTO_FILES ner.proto) set(PROTO_H ner.pb.h) set(PROTO_CC ner.pb.cc) add_custo...

2019-04-10 15:28:01

阅读数 46

评论数 0

protobuf cpp 实例 与 使用

ner.proto文件如下 syntax = "proto3"; package ner; service ner_svc { rpc Detect(QueryRequest) returns (QueryReply) {} } message Entity { ...

2019-04-10 15:21:40

阅读数 27

评论数 0

CMakeLists.txt 报错 fatal error: google/protobuf/port_def.inc: No such file or directory

INCLUDE_DIRECTORIES(/home/tong.guo/protobuf/include) 其中/home/tong.guo/protobuf为编译好的protobuf目录 之前已经在下载解压的protobuf文件夹里 ./configure --prefix==/home/tong...

2019-04-01 18:37:15

阅读数 728

评论数 2

CMakeLists.txt 报错 undefined reference to

target_link_libraries加上so就行了

2019-03-29 15:47:03

阅读数 54

评论数 0

python3 pickle 报错 'ascii' codec can't decode byte

改成这样 pickle.load(file_name,mode="rb"),encoding='bytes')

2019-03-26 16:57:46

阅读数 59

评论数 0

encoder-decoder结构的模型做text-generation任务的数据准备

训练时: encoder input: [A, B, C, D, EOS] target: [E, F, G, H, EOS] decoder input: [BOS, E, F, G, H] 预测时: encoder input: [A, B, C, D, EOS] decoder in...

2019-03-26 14:40:51

阅读数 44

评论数 0

tensor2tensor 做 language model 的理解

language model(LM)没有用encoder,只用了decoder, 在decoder代码里,transformer_prepare_decoder方法里调用了shift_right_3d方法 使decode_input的sequence向右错一位,即 target [1,2,3,4...

2019-03-22 10:09:12

阅读数 70

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭