SSD学习笔记

见我的知乎文章: https://zhuanlan.zhihu.com/p/42322126

2019-08-30 09:52:32

阅读数 11

评论数 0

缩放过程中的中心点对齐

我们常常需要得出缩放前后某个像素位置和原始位置的精确坐标值,这时候就需要考虑几何中心点对齐,分析于结论如下 OpenCV双线性插值中的几何中心点对齐问题见下文: https://www.cnblogs.com/yssongest/p/5303151.html ...

2019-08-30 09:32:35

阅读数 48

评论数 0

Pytorch根据layers的name冻结训练

使用model.named_parameters()可以轻松搞定, model.cuda() # ######################################## Froze some layers to fine-turn the model #############...

2019-07-24 22:15:17

阅读数 41

评论数 0

Python, NumPy, Pytorch中的多进程中 每个进程的随机化种子 误区

python自带的random在不同子进程中会生成不同的种子,而numpy.random不同子进程会fork相同的主进程中的种子。pytorch中的Dataloader类的__getitem__()会在不同子进程中发生不同的torch.seed(),并且种子与多进程的worker id有关(查看w...

2019-07-22 17:03:16

阅读数 151

评论数 0

python中常用的装饰器

cython中常见的函数装饰器 @cython.boundscheck(False) # Cython默认进行数组越界检查,这也是个降低速度的地方,不过可以用@cython.boundscheck(False)的方法关闭该功能 @cython.wraparound(False) # @cy...

2019-07-18 15:53:12

阅读数 33

评论数 0

Git实用命令指南

一、使用Git撤销本地修改和回退版本 二、chekout检出 和 断头detached HEAD的处理,以及stash

2019-07-12 19:20:16

阅读数 36

评论数 0

Stochastic Weight Averaging in PyTorch

Stochastic Weight Averaging in PyTorch | PyTorch.pdf 具体指导请参见上的的pdf文件 SWA为什么有效 Figure 1. Illustrations of SWA and SGD with a Preactivation ResNet...

2019-06-03 10:30:02

阅读数 142

评论数 0

L1和L2正则化的理解

摘录自: https://zhuanlan.zhihu.com/p/35356992 https://zhuanlan.zhihu.com/p/29360425 正则化理解之结构最小化 首先给出一个例子解释L1的作用可以使得模型获得稀疏解 L1正则使得模型的解稀疏 正则化之所以能够...

2019-05-29 10:54:21

阅读数 95

评论数 0

L1正则使得模型的解稀疏

下图给出目标函数 y=x3+2x−3x3+0.5 y=x^{3}+2x-3x^{3}+0.5 y=x3+2x−3x3+0.5 在添加了L1正则项和L2正则项后解的变化情况 L1正则2.5∣x∣L2正则2.5x2 L1正则 2.5\left| x \right|\\ L2正则 2.5x...

2019-05-27 21:03:57

阅读数 37

评论数 0

Python, NumPy, Pytorch中的多进程中 每个进程的随机化种子 误区

python中多进程种子seed python自带的random在不同子进程中会生成不同的种子,而numpy.random不同子进程会fork相同的主进程中的种子。pytorch中的Dataloader类的__getitem__()会在不同子进程中发生不同的torch.seed(),并且种子与多进...

2019-05-14 15:11:06

阅读数 126

评论数 0

Pytorch中的Batch Normalization layer踩坑

1. 注意momentum的定义 Pytorch中的BN层的动量平滑和常见的动量法计算方式是相反的,默认的momentum=0.1 x^ new =(1− momentum )×x^+ momemtum&...

2019-05-12 15:00:28

阅读数 608

评论数 1

深度学习中多GPU训练

先说我认为的结论,若夸卡训练中有统计数据同步(比如BN层的runing average 和 variance),这时单卡和多卡效果是一样的,只不过多卡增大了batch size,否则就不是严格的增大batch,因为统计数据可能不够准确。可以参考一下我摘录的小笔记,以BN层为对象,思考一下其他老师同...

2019-05-12 14:59:00

阅读数 410

评论数 0

Pytorch何时能够使用inplace操作

1.对于在求梯度阶段需要用到的张量不能使用 inplace operation 有时为了节省内存,比如ReLu单元,我们可以使用inplace=True来将output tensor 覆盖在input tensor的内存位置上。但是从pytorch中的autograd的视角来看,依然将会追踪到两...

2019-04-04 16:10:40

阅读数 239

评论数 0

python中的函数必须在调用之前(函数调用函数例外)定义

转载自 标准的先函数定义,后函数调用 def add1(a,b): return a+b print add1(1,2) 函数2可以调用后面定义的函数3 #事实上,我们在调用函数2的时候,一样是遵循先定义后调用的准则 def add2(a,b): return add3(a,b...

2019-04-03 14:58:27

阅读数 126

评论数 0

python中的 += 操作是 in-place,会覆盖原始内存

You avoid the in-place by doing out = out + residual You can verify that with other data structures as well: a = [] b = a # b is the same as a ...

2019-04-02 10:45:45

阅读数 84

评论数 0

Pytorch 中 expand, expand_as是共享内存的,只是原始数据的一个视图 view

mask = mask_miss.expand_as(sxing).clone() # type: torch.Tensor mask[:, :, -2, :, :] = 1 # except for person mask channel 为了避免对expand后对某...

2019-03-30 10:57:41

阅读数 743

评论数 0

pytorch 恢复保存的优化器状态,继续优化

转载:https://github.com/jwyang/faster-rcnn.pytorch/issues/222 you can re-initialise the weights manually using this model.load_state_dict(checkpoi...

2019-03-12 11:28:16

阅读数 395

评论数 0

ubuntu安装HDF5 1.10.4 以及对应的python hdf5包

1.安装HDF5 1.10以及对应的python hdf5的包 (HDF5 1.10.4安装具体可参考其他博客) 2. 使用命令行环境变量安装对应的python hdf5包,HDF5_DIR=/usr/local/hdf5 pip install h5py 系统内安装有其他HDF5版本,比如1...

2019-02-22 10:27:56

阅读数 491

评论数 0

如何理解神经网络中通过add和concate的方式融合特征?

Hengkai Guo的回答 - 知乎 https://www.zhihu.com/question/306213462/answer/562776112 下面的解释出自上面的链接 对于两路输入来说,如果是通道数相同且后面带卷积的话,add等价于concat之后对应通道共享同一个卷积核...

2019-01-07 16:02:26

阅读数 3696

评论数 0

python中的 type hint 类型提示

许多IDE(如pycharm)会有输入类型提示和自动代码补全,就是靠类似于静态语言中的变量类型声明的做法。python语言是动态的,所以不存在需要使用重载功能,python中的重载只是为了类型提示和参数数目提示。 1. 使用overload或者typing.TypeVar(后者要求固定参数数目)...

2018-12-22 10:51:11

阅读数 823

评论数 0

提示
确定要删除当前文章?
取消 删除