- 博客(24)
- 收藏
- 关注
RSS订阅原创 docker run -u和--entrypoint的学习
今天理解了两个用法docker 和 uid动机: 部署在docker容器的算法输出的图片总是带有root权限，删除或者后续操作很麻烦。产生该现象的原因是我在docker run和dockerfile中都未指定user给docker，在此情况下docker会默认使用root用户。这篇文章描述了详细的原因和解决方案。提炼一些关键点：docker和host通过同一个内核来管理和uid和gid，内核只认识uid和gid，而username和uid之间的映射由外部文件记录(如etc/passwd)。可在do
2021-04-09 17:44:16
3559
原创 CNN的平移不变性
这里写自定义目录标题新找到了一个不错的技术论坛 https://bbs.cvmart.net/最近学习：CNN的平移不变性提问： 既然cnn对图像具有平移不变性，那么利用 图像平移（shift）进行数据增强来训练cnn会有效果吗？ 回答见链接总结：CNN的平移不变性主要是通过数据学习来的，结构只能带来非常弱的平移不变性，而学习又依赖于数据增强中的裁切，裁切相当于一种更好的图像平移。补充： 正是因为池化本身带有弱的平移不变性，且会损失一些信息，在对平移需要等价性的一些任务里（比如检测、分割）
2021-03-02 17:35:00
782
原创 《PyTorch训练加速的17种方法》读后感
PyTorch训练加速的17种方法整理了几个现阶段实用的：torch.optim.lr_scheduler.CyclicLR 和 torch.optim.lr_scheduler.OneCycleLR. 传送门：Optim当使用 torch.utils.data.DataLoader 时，设置 num_workers > 0，而不是默认值 0，同时设置 pin_memory=True，而不是默认值 False。 传送门：DataLoader， CUDA页锁定内存，把 batch 调到最大.
2021-01-19 14:07:22
290
原创 pytorch小白日记
今天在ssd的代码里看到了几个用法，虽说代码是基于pytorch0.4的，但这些用法应该都没有变.用法１keep = scores.new(scores.size(0)).zero_().long()tensor.new(x)新建一个和此Tensor相同datatype的Tensor; tensor内容为x，若参数为空则新建空tensor [new];顺便调查了pytorch中多种复制tensor的方法：[difference-between-clone()-and-new_tensor()]
2020-10-22 17:23:09
222
原创 Tensor.contiguous()
这里写自定义目录标题欢迎使用Markdown编辑器Tensor.contiguous()欢迎使用Markdown编辑器在看SSD的代码实现，里面出现了l(x).permute(0, 2, 3, 1).contiguous())这样的用法。首先查了Tensor.permute()，用作更换Tensor的维度顺序；查Tensor.contiguous()的用法花了蛮多心思，做一下记录：Tensor.contiguous()官方人员对的contiguous()解释x = torch.arange(12
2020-10-21 13:31:05
652
原创 print无法输出到.out文件中 用 -u
故事背景： 做BraTS项目，快要交论文初稿了，模型还不合格，心情急躁，无奈遇到了从来没见过的长相奇特的bug，又卡了好几天，内心是崩溃的…bug描述： 在服务器上跑.py模型训练脚本，之前好好的可以跑通的代码突然什么都不输出(.out文件中没有内容)，连已经运行到的print语句也没有输出内容，如下图；只有当程序出现报错时，之前的print内容才会和报错信息一起显示到.out文件中，如下图。解决过程：起初看到多个任务的进度条都是 0/n 以为是学校服务器又大姨妈了（虽然学校的服务器老有各种
2020-08-07 15:36:37
1032
1
原创 Debug历程：在Relu后加dropout
起因老师说dropout一般加在activation后面；于是我用pytorch开始尝试。在Relu之后添加dropout之后，发生报错：RuntimeError: one of the variables needed for gradient computation has been modified by an inplace operation过程在Github中搜到 we cannot have two subsequent inplace operations , 作答者还举了个例子：
2020-07-23 09:53:34
1883
原创 解决过程记录ValueError: assignment destination is read-only
总结：numpy1.16之后，单纯设置 img.setflags(write=1) 或 img.flags.writeable = True 会提示 “ValueError: cannot set WRITEABLE flag to True of this array”在stackoverflow 找到解决方案： img = img.copy() 可解决这一问题。
2020-05-22 12:41:34
7288
1
原创 logging无法正常保存日志文件的问题
python logging的基本用法：[https://blog.csdn.net/Runner1st/article/details/96481954]保存日志文件时遇到问题：在测试时，logging.basicConfig(filename == 'xx' )与 logging.warning('message') 的组合可以正常保存日志文件；而在模型inference的脚本中却无...
2020-03-05 11:08:14
1445
原创 邂逅TensorRT
This is how I meet TensorRT简介TensorRT是一个高性能的深度学习推理（Inference）优化器，可以为深度学习应用提供低延迟、高吞吐率的部署推理。TensorRT可用于对超大规模数据中心、嵌入式平台或自动驾驶平台进行推理加速。TensorRT现已能支持TensorFlow、Caffe、Mxnet、Pytorch等几乎所有的深度学习框架，将TensorRT和...
2020-03-04 14:21:53
285
原创 Linux 从害怕到放弃（三-vim）
记录一些vim的常用快捷键，希望以后用起来得心应手普通模式下：按键作用h, l左/右移一个字符j, k下/上移一行PageDown或左/右移一个字符h, l左/右移一个字符h, l左/右移一个字符h, l左/右移一个字符h, l : 左/右移一个字符j, k : 下/上移一行...
2020-01-22 16:17:59
147
原创 Linux 从害怕到放弃（一）
——内容摘自《Linux Command Line and Shell Scripting Bible, 3E》本文记录一些闲暇时间在书上看到或者实际解决问题过程中学到的linux系统实用知识/bin/ 目录下储存可执行文件(shell外部命令的真身, ls -lF /bin/)ls 命令ls -alF # -l:显示长列表; -a:显示隐藏文件; -F:不同颜色区分文件和目录...
2020-01-08 11:05:14
156
原创 在服务器的docker中部署深度学习模型（flask框架）
目录服务端客户端目标： 我需要在测试polygonrnn++的预测效果，并把模型部署在服务器上。服务端首先在服务端搭建配置好环境的docker。 新建容器时有几个注意点：使用nvidia-docker 或者设置 --runtime 参数，否则 import tensorflow (gpu版) 时会报错: file too short使用 -p 参数设置多个端口映射， ：左边是服务器端口...
2019-11-29 18:30:11
1646
原创 tf.segment_sum()_ tf.while_loop()_ tf.clip_by_value()_ tf.tile()_ tf.unique_with_counts()
这几天 在阅读大项目LaneNet的损失函数计算部分时，遇到了许多未曾一见的tensorflow的函数，上网查找资料后做一个学习笔记。分段求和 tf.segment_sum()1.14之后将它移到了math模块下tf.math.segment_sum( data, segment_ids, name=None)outputi=∑jdatajoutput_i =...
2019-11-13 11:17:42
531
1
原创 用docker快速搭建一个python代码环境
将本地的环境保存下来，pip freeze > requirements.txt从对应nvidia/cuda镜像开始创建容器docker run -it --name ImageName /bin/bash将环境配置文件，项目代码和测试图像都复制进容器docker cp … …安装对应版本的python，例如PaddleSeg需要python3.5安装pip等一系列工具pip...
2019-10-24 15:14:13
822
原创 NG-DeepLearning-CNN第三周“目标检测”
这一周的内容重点较多，相对不易理解，更是包含了著名的YOLO算法。因此拿出来做个总结。 笔记参照这位大哥 https://github.com/AlbertHG/Coursera-Deep-Learning-deeplearning.ai/tree/master/04-Convolutional%20Neural%20Networks/week31. 问题描述：目标定位（Object loc...
2019-08-29 15:19:29
370
原创 TensorFlow Dataset的使用
内容摘自 --《TensorFlow 实战Google深度学习框架》 第二版1.4 版本以后，数据集框架从tf.contrib.data 迁移到 tf.data，它被TensorFlow推荐作为输入数据的首选框架。由于训练数据通常无法全部写入内存中，从数据集中读取数据时需要使用一个迭代器(iterator)按顺序进行读取。与队列相似，数据集也是计算图上的一个节点。input_data =...
2019-08-15 19:58:49
345
原创 天壤智能深度学习(生物信息方向)实习岗面试总结
非常暴露问题的一场面试，把我薄弱的基础和最近浮躁的学习状态揭露无疑。直接上题目(附上相关的知识点以便以后复习)：介绍一下自己你说你用过LSTM模型，请讲一下计算遗忘门的时候，总共有多少需要学习的参数：思路：矩阵X<t>X^{<t>}X<t> 的形状是(nx,m)(n_x, m)(nx,m)，a<t...
2019-08-12 18:47:33
1022
原创 python String常用操作
总结一些常用的python中String的操作，以后查阅起来方便一些。{} + .format() 的形式print("Floating point {0:.2f}".format(345.6789)) # f代表浮点型， 2代表两位小数 # Floating point 345.67 import mathprint("Floating point {0:10.3f...
2019-08-12 15:48:38
387
原创 TensorFlow collection的概念
内容摘自《TensorFlow实战Google深度学习框架》 第二版集合（collection）有效整理TenserFlow程序中的资源也时计算图的一个重要功能。在一个计算图中，可以通过集合(collection) 来管理不同个类别的资源。 tf.add_to_collection 函数可以将资源加入一个或多个集合中，然后通过 tf.get_collection 获取一个集合里面的所有资源...
2019-08-10 21:52:27
412
原创 TensorFlow 计算加速（一）
TensorFlow 计算加速内容摘自《TensorFlow实战Google深度学习框架》 第二版1. TensorFlow使用GPUTensorFlow程序可以通过tf.device函数来通过名称指定运行每一个操作的设备，这个设备可是是本地的GPU或CPU，也可以是一台远程的服务器。在默认情况下，就算及其有多个CPU，TensorFlow也不会区分他们，所有的CPU都使用/cpu:...
2019-08-10 14:52:07
763
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人