2019年03月_FocusOneThread

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

原创 CMakeLists.txt 报错 undefined reference to

target_link_libraries加上so就行了

2019-03-29 15:47:03 3553

原创 python3 pickle 报错 'ascii' codec can't decode byte

改成这样pickle.load(file_name,mode="rb"),encoding='bytes')

2019-03-26 16:57:46 2014

原创 encoder-decoder结构的模型做text-generation任务的数据准备

训练时：encoder input:[A, B, C, D, EOS]target:[E, F, G, H, EOS]decoder input:[BOS, E, F, G, H]预测时：encoder input:[A, B, C, D, EOS]decoder input:[BOS]

2019-03-26 14:40:51 308

原创 tensor2tensor 做 language model 的理解

language model（LM）没有用encoder，只用了decoder，在decoder代码里，transformer_prepare_decoder方法里调用了shift_right_3d方法使decode_input的sequence向右错一位，即target [1,2,3,4]input [0,1,2,3]正好是预测下一个词...

2019-03-22 10:09:12 425

原创 3d和2d的tensor的shift方法实现

def shift_right_3d(x, pad_value=None): """Shift the second dimension of x right by one.""" if pad_value is None: shifted_targets = tf.pad(x, [[0, 0], [1, 0], [0, 0]])[:, :-1, :] else: sh...

2019-03-21 18:22:09 830

原创 tf.pad 实例与使用

import tensorflow as tftf.enable_eager_execution()x = tf.Variable(initial_value=[[1,2,3],[4,5,6]])padded = tf.pad(x, [[0, 0], [1, 0]])print(padded)padded = tf.pad(x, [[0, 0], [0, 1]])print(padde...

2019-03-21 18:19:33 235

原创 tensor2tensor 在sess.run时查看feed进去时的数据的值，以及查看输出的数据的值

在Python36\Lib\site-packages\tensorflow_estimator\python\estimator\estimator.py文件里搜mon_sess.run关键字，可在estimator.py文件的predict方法和_train_with_estimator_spec定位到，这样也只能看到部分内容，因为是采用tf.data接口喂数据，所以看不到直接的feed...

2019-03-21 15:38:00 659

原创 tensor2tensor decode报错，模型restore有问题

t2t_decoder的checkpoint_path参数要填成类似这样：flags.DEFINE_string("checkpoint_path", default="../../t2t_train/cn_lm/model.ckpt-53000", help="Path to the model checkpoint. Overrides output_dir.")...

2019-03-21 12:04:28 390

原创 tensor2tensor decode时报错 Fast decoding only supports a single shard.

把flags.py的worker_gpu参数改为1

2019-03-21 11:10:03 297 1

原创 tensor2tensor 调整用几个GPU数量

在flags.py里的worker_gpu参数

2019-03-21 09:24:38 597

原创 tensorflow 取到/打印 tensor名字

.name即可for variable in tf.trainable_variables(): print(variable.name)

2019-03-20 10:35:50 2836 1

原创 tensorflow 打印每个tensor的参数量

定义完graph后面加上 from functools import reduce from operator import mul def get_num_params(): num_params = 0 for variable in tf.trainable_variables(): shape = varia...

2019-03-20 10:31:31 2021

原创 tensor2tensor 添加一个problem

仿照data_generators文件夹里的比如ptb.py写一个新的比如ptb2.py，然后在all_problems.py写上即注册，把flags.py文件里的problem参数按规律改成ptb2.py里的problem名字...

2019-03-19 18:51:02 327

转载 python dict按value排序

https://stackoverflow.com/questions/613183/how-do-i-sort-a-dictionary-by-valuesort_tuple_list = sorted([(value,key) for (key,value) in mydict.items()])

2019-03-13 15:15:56 2435

原创 rollout的意思

SeqGAN和LeakGAN里都提到这个东西，感觉就是用上一个词的输出作为下一个要生成的词的输入一个一个生成一句话的意思

2019-03-13 11:45:33 2902

原创 pytorch torch.gather 实例

import torchinput_tensor = torch.tensor([[1,2],[3,4],[5,6]])gather_input = torch.tensor([[0,0],[1,0],[1,1]])output_tensor = torch.gather(input_tensor, 1, gather_input)print(output_tensor)tensor(...

2019-03-08 17:58:12 487

原创 pytorch，nonzero 实例使用

import torchinput_tensor = torch.tensor([1,2,3,4,5])mask = input_tensor>3print(mask)indexes = mask.nonzero().squeeze()print(indexes)tensor([0, 0, 0, 1, 1], dtype=torch.uint8)tensor([3, 4])...

2019-03-08 17:48:15 1726

原创 pytorch，筛选出一定范围的值

import torchinput_tensor = torch.tensor([1,2,3,4,5])print(input_tensor>3)mask = (input_tensor>3).nonzero()print(mask)print(input_tensor.index_select(0,mask))tensor([0, 0, 0, 1, 1], dtype=...

2019-03-08 17:47:04 4762

原创 pytorch，初始化tensor

import torchinput_tensor = torch.tensor([1,2,3,4,5])input_tensor = torch.tensor([[1,2,3,4,5],[6,7,8,9,10]])

2019-03-08 17:24:52 2660

原创 pytorch，index_select实例

import torchinput_tensor = torch.tensor([1,2,3,4,5])print(input_tensor.index_select(0,torch.tensor([0,2,4])))input_tensor = torch.tensor([[1,2,3,4,5],[6,7,8,9,10]])print(input_tensor.index_select...

2019-03-08 17:23:30 3342