- 博客(24)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 One of the differentiated Tensors appears to not have been used in the graph. Set allow_unused=True
One of the differentiated Tensors appears to not have been used in the graph. Set allow_unused=True if this is the desired behavior.
2022-08-09 15:44:30
3730
原创 安装Theano
安装Theano由于要复现前人在18年写的的模型，不得配置一下这个深度学习框架。步骤详情可以参考Theano的官方文档。 在百度上查了不少指导，都没装好，还得官方文档啊。以下介绍简略步骤，以windows为例：安装合适版本的python， 2.7或者3.5版本，似乎3.6及以上都不支持安装相应的依赖，以下安装最好都使用conda，他会自动帮你安装与python版本匹配的包。其中<...>内是非必要安装的，我是除了pydot-ng都装了。conda install numpy scip
2022-04-04 10:37:38
3271
4
原创 tensorflow.python.framework.errors_impl.CancelledError: [_Derived_]RecvAsync is cancelled.
问题描述：使用tensorflow-gpu时，跑lstm，报了以下错误。具体原因不明，有知道的朋友帮我解释一下吧，谢谢！ 参考：link环境python == 3.6tensorflow-gpu == 2.4.0报错复现tensorflow.python.framework.errors_impl.CancelledError: [_Derived_]RecvAsync is cancelled. [[{{node Adam/Adam/group_deps/NoOp/_95}}]] [
2022-02-16 16:15:03
1364
原创 关于group convolution 和 depth-wise separable convolution的理解
整体可以参考这里以下是我的个人理解的补充，方便日后回顾normal convolution：普通卷积对于每一个输入channel都提供一套卷积参数，例如卷积核为K∗KK * KK∗K，输出channel为CoutC_{out}Cout，则对于每一个输入channel，卷积参数为K∗K∗CoutK * K * C_{out}K∗K∗Cout。因此如果输入channel为CinC_{in}Cin，则全部参数为Cin∗K∗K∗CoutC_{in}*K*K*C_{out}Cin∗K∗K∗Cout。
2022-01-24 13:38:03
1170
原创 关于pytorch tensor/params没有放在同一个设备上的经验
前言用pytorch做深度学习时候，全部tensor和变量都要放到同一个设备上, i.e. GPU or CPU。否则会报一下错误：RuntimeError: Expected all tensors to be on the same device, but found at least two devices, cuda:0 and cpu! (when checking argument for argument mat2 in method wrapper_mm)出现以上bug，目前我遇到的
2022-01-23 11:30:23
2551
原创 stack与concat差异
以pytorch为例例子import torcha = torch.randint(0, 10, (2, 3, 4))b = torch.randint(0, 10, (2, 3, 4))print(a.shape, a)print(b.shape, b)c = torch.stack([a, b], dim=0)d = torch.stack([a, b], dim=1)e = torch.stack([a, b], dim=2)print(c.shape, c)print(d.s
2022-01-19 16:53:11
840
原创 测试tensoflow or pytorch代码
Tensorflowshow一个例子这里，注意打印tf变量前先执行sess.run(tf.global_variables_initializer())以初始化变量。该例子包含如何定义变量以及单元测试。import tensorflow as tfdef weights_nonzero(labels): # """Assign weight 1.0 to all labels except for padding (id=0).""" return tf.to_float(tf.not
2022-01-06 15:28:40
1138
原创 拓展vmware虚拟机的硬盘
记录这篇文章是因为碰到了以下这个bug，docker pull的时候设备空间不足：write /var/lib/docker/tmp/getimageblob415296441: no space left on device解决方法基本上可以follow这篇文章但是我也遇到一些问题：(1) 开机后进入不了gaprted的主界面，这里需要勾选Connect at power on，使他随开机一并读入 （如图Fig.1）。如果开机后依旧没有见到gaprted主界面，则重启，按Esc键进入如下界面，选
2022-01-03 18:40:10
614
原创 windows, Linux配置cuda以及cudnn for Tensorflow
1 非root用户在Ubuntu server上配置cuda以及cudnn1.1 背景该操作用于为非root用户在其ubuntu sever上配置cuda以及cudnn，当系统找不到cuda时会报以下类似的错误，该操作也作为以下报错的解决方法ImportError: libcublas.so.10.0: cannot open shared object file: No such file or directory1.2 具体操作详见link2 在windows上配置cuda以及cudnnt
2021-12-31 13:18:30
910
原创 windows配置github ssh key
背景为一台主机配置好github ssh key可以无需账号密码进行git clone， 本文记录一下，便于日后查阅，参考：链接如下介绍如何配置 step by step:注：以下步骤都在git bash中执行生成一对秘钥ssh-keygen -t rsa -C "your_email@example.com"将SSH私钥添加到 ssh-agent2.1 在后台启动 ssh-agent eval $(ssh-agent -s)2.2 将SSH私钥添加到 ssh-agents
2021-12-03 19:32:32
518
原创 如何为别人的项目贡献代码以及创建pull request
流程clone from a remote repogit clone git@github.com:xxx/yyy.git修改代码…查看一下当前的所有分支，然后创建一个新的新的分支git branchgit checkout zzz (git checkout -b zzz//创建分支并进入该分支)一番add commit pushgit add .git commit -m "xxxx"git push origin zzz // zzz是新的分支名创建pull requ
2021-11-20 20:32:21
416
原创 OSError: [WinError 127] The specified procedure could not be found.
报错复现：Traceback (most recent call last): File "./infer.py", line 27, in <module> import torch File "D:\Apps\Anaconda\envs\tse_2021_bases\lib\site-packages\torch\__init__.py", line 117, in <module> raise errOSError: [WinError 127] T
2021-11-18 21:32:18
2745
2
原创 pytorch乘法，随用随记
1. mul按元素相乘，存在广播机制，看下面这个例子：import torcha = torch.tensor([[[1,2],[2,3],[3,4],[4,5],[5,6]]])b = torch.tensor([[[1],[2],[3],[4],[5]]])c= torch.mul(a,b)print("a shape: ", a.shape)print("b shape: ", b.shape)print("c shape: ", a.shape)print("c: ", c)
2021-11-17 10:50:37
1059
原创 random模板，随用随查
random.shuffleimport random需求生成一段随机序列模拟一次伯努利分布使用 random_list = [1,1,1,1,1,1,0,0,0,0,0,0,0,0] random.seed(seed) random.shuffle(random_list) print(random_list)设置随机种子，使每次结果不变。...
2021-11-08 19:36:52
137
原创 sys使用 不断更新...
参数传递例子：import sysprint(sys.argv[0])print(sys.argv[1])print(sys.argv[2])结果：D:>python test.py pytho nontest.pypythononsys[0]：文件本身sys[1]及之后：文件后的参数
2021-10-31 14:31:27
106
原创 Python并行实例
前言在CPU上处理大规模数据时，亟需并行以节省时间。记录一下在python并行中我通常使用的package: Multiprocssing。直接上例子？二、使用步骤1.引入库代码如下（示例）：import numpy as npimport pandas as pdimport matplotlib.pyplot as pltimport seaborn as snsimport warningswarnings.filterwarnings('ignore')import ssl
2021-10-18 11:16:34
307
原创 TypeError: can‘t convert CUDA tensor to numpy.
报错复现及解决：TypeError: can't convert CUDA tensor to numpy. Use Tensor.cpu() to copy the tensor to host memory first.有点时候需要将tensor转化为numpy.ndarray，直接使用.numpy()可能出现以上问题。这是因为tensor在GPU上，需要先放到CPU上才能转。随后改用.cpu().numpy()，可能出现如下报错：RuntimeError: Can't call numpy()
2021-10-17 12:39:42
781
原创 一点关于OrderedDict
前言记录一下OrderedDict是因为pytorch加载参数(torch.load(<model_path>)['state_dict'])是OrderedDict类型，其中以(key, value)的形式存储着整个模型的参数。作为Dictionary的一个子类，最大不同在于保存了items的插入顺序。具体参考：文档。直接上例子测试代码：from collections import OrderedDictod = OrderedDict()od['a'] = 123od['b
2021-10-13 19:10:17
1114
原创 Pytorch错误：Torch not compiled with CUDA enabled
报错复现：Traceback (most recent call last): File "../train.py", line 388, in <module> main() File "../train.py", line 384, in main train(args) File "../train.py", line 378, in train trainer.train() File "../train.py", line 322, in tr
2021-10-07 14:58:49
693
原创 docopt 使用手册
文章目录前言版本例子前言这个例子很简单，但是对我来说够用，日后可以基于这个例子拓展版本docopt: 0.6.2python: 3.6例子"""Usage: vocab.py [options] TRAIN_SET_SRC TRAIN_SET_TGT VOCAB_FILEOptions: -h --help Show this screen. --size-src INT src vocab size [d.
2021-10-06 11:52:16
637
原创 Pylucene Installation for Windows
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录Preliminary1. Infrastractures' Version2. Before Step 53. Step 54. Step 6-8PreliminaryRecently, I was going to try this tool: pylucene, but encountered some problems, thus make some records here for future reference.
2021-09-27 14:24:18
306
原创 Python，记录 stack, vstack, hstack 区别
Python | 记录 stack, vstack, hstack 区别1. stack2. vstack3. hstack1. stackstack的两个对象必须形状相同，结果会向外扩展一个维度，例：import numpy as npa = np.array([[1,2,3,4], [2,3,4,5]])b = np.array([[2,3,4,5],[5,6,7,8]])print(a.shape, a)print(b.shape, b)c = np.stack((a,b), axis
2021-05-04 21:37:04
149
计算机网络自顶向下方法 第七版（自制：第六版+相比于第七版缺少的章节）
2018-12-24
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人