- 博客(112)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 Pycharm编辑器设置显示或者忽略隐藏文件以其设置远程同步git
编辑器Project视图显示隐藏文件Pycharm默认是不显示.git文件夹的，因为它是隐藏文件，如果想要在编辑器Project视图中显示，需要更改默认设置，如下图：远程linux服务器部署设置同步隐藏文件，比如git在Tool下的Options中设置， Exclude items by name...
2020-06-10 20:51:49
7096
原创 python logging日志模块使用
实例选自：openpifpaf/log.py参考：博客1博客2import loggingLOG = logging.getLogger(__name__)def configure(args): # pylint: disable=import-outside-toplevel from pythonjsonlogger import jsonlogger ...
2020-03-09 12:06:05
606
原创 缩放过程中的中心点对齐，即align_coners
1. 中心点对齐的计算方法我们常常需要得出缩放前后某个像素位置和原始位置的精确坐标值，这时候就需要考虑几何中心点对齐，以下分析都是基于中心点对齐的缩放。缩放过程中，我们需要为目标图像dstImg上的每个像素位置找到与之对应的原图像srcImg的位置，并把srcImg上对应的像素值填入dstImg的该坐标位置处。若映射回原图srcImg的坐标位置不是整数，那么就需要做插值，算出映射回去的非整数坐...
2020-02-27 11:55:37
5891
原创 python class __init__() 外部定义属性
举例说明，比如定义一个PifPaf类如下class PifPaf(object): force_complete = True connection_method = 'blend' fixed_b = None pif_fixed_scale = None paf_th = 0.1 def __init__(self, stride): ...
2020-02-21 21:06:06
3468
原创 pip install, python setup.py, egg-info的说明--以Nvidia Apex安装为例
Install Nvidia Apex若第一次安装需要把项目从github克隆到本地Clean the old install before rebuilding:pip uninstall apexcd apex_repo_dirrm -rf build (if present)rm -rf apex.egg-info (if present)Install package：...
2020-02-12 19:03:56
7106
1
原创 SSD学习笔记
请去我的知乎原文地址：SSD学习笔记开篇之前，贴一个很好的非常全面的SSD笔记：深度学习笔记（七）SSD 论文阅读笔记www.cnblogs.com还有一个SSD300的pytorch实现：https://github.com/USTClj/learn-SSD300github.com1. SSD300的结构：USTClj/learn-SSD3001. SSD300的结构：摘录自：...
2020-02-06 09:39:22
590
原创 hexo实用技巧随记
关于hexo安装hexo及主题安装hexo，可以参考：用 Hexo 和 GitHub Pages 搭建博客解决latex公式渲染的问题npm uninstall hexo-renderer-marked --savenpm install hexo-renderer-pandoc --save然后到配置的主题next下的配置文件 /Users/lijia/科研&学习/gith...
2020-01-29 11:37:09
647
原创 L2正则和权值衰减的区别 L2 Regulation vs Weight Decay
对于L2 Regulation 和 Weight Decay，假设原来的损失函数是fff,对于有Weight Decay的参数更新规则如下：θt+1=θt−α∇ft(θt)−λθt,\theta_{t+1}=\theta_{t}-\alpha \nabla f_{t}\left(\theta_{t}\right)-\lambda \theta_{t},θt+1=θt−α∇ft(θt...
2020-01-19 20:50:54
1114
原创 Pycharm使用遇到的坑随记
1. Pycharm无法双击打开项目内文件(project view)升级Pycharm到2019.3后出现了这个使用的问题，Pycharm 项目内双击鼠标无法打开*.py等等文件的解决办法：在keymap中设置鼠标快捷键。首先找在keymap中搜索 “Jump to Source”，然后按照下面的方法进行设置2. Pycharm运行脚本时不是重新开启窗口，而是覆盖了之前运行的...
2019-12-28 10:47:30
1549
1
原创 Apex相关
What is the difference between FusedAdam optimizer in Nvidia AMP package with the Adam optimizer in Pytorch?摘录自The Adam optimizer in Pytorch (like all Pytorch optimizers) carries out optimizer.step(...
2019-12-18 11:06:29
1229
原创 一个 Pytorch 训练实践 （分布式训练 + 半精度/混合精度训练）
Source内容速览‘train.py’: single training process on one GPU only.‘train_parallel.py’: signle training process on multiple GPUs using Dataparallel (包括不同GPU之间的负载均衡).‘train_distributed.py’ (recommended...
2019-12-10 11:41:37
4084
2
原创 MacOS添加打印机（隔空打印）
查看已经连接上打印机的一台电脑，查看同一局域网下打印机的IP地址。如果是比较新式的打印机，可以先尝试添加隔空打印，输入打印机IP地址，选择隔空打印协议，不需要额外安装打印机驱动，即可使用打印机了。如果不支持隔空打印，还是需要安装打印机驱动的。关于如何查看打印机的IP，以惠普打印机为例，在打印机面板上的返回键，就会显示打印机的 IP 地址了！...
2019-09-23 17:42:04
6186
原创 Pytorch根据layers的name冻结训练
使用model.named_parameters()可以轻松搞定，model.cuda()# ######################################## Froze some layers to fine-turn the model ########################for name, param in model.named_paramete...
2019-07-24 22:15:17
1514
原创 Python, NumPy, Pytorch中的多进程中 每个进程的随机化种子 误区
python自带的random在不同子进程中会生成不同的种子，而numpy.random不同子进程会fork相同的主进程中的种子。pytorch中的Dataloader类的__getitem__()会在不同子进程中发生不同的torch.seed()，并且种子与多进程的worker id有关（查看worker_init_fn参数说明）。但是三者互不影响，必须独立地处理。因此在写自己的数据准备代码时，...
2019-07-22 17:03:16
1141
原创 python中常用的装饰器
cython中常见的函数装饰器@cython.boundscheck(False) # Cython默认进行数组越界检查，这也是个降低速度的地方，不过可以用@cython.boundscheck(False)的方法关闭该功能@cython.wraparound(False) # @cython.wraparound(False) 消除了相对数组尾部的负数下标的处理（类似Python列表）#...
2019-07-18 15:53:12
519
转载 Stochastic Weight Averaging in PyTorch
Stochastic Weight Averaging in PyTorch | PyTorch.pdf具体指导请参见上的的pdf文件SWA为什么有效Figure 1. Illustrations of SWA and SGD with a Preactivation ResNet-164 on CIFAR-100 [1]. Left: test error surface for thr...
2019-06-03 10:30:02
1201
原创 L1和L2正则化的理解
摘录自：https://zhuanlan.zhihu.com/p/35356992https://zhuanlan.zhihu.com/p/29360425正则化理解之结构最小化首先给出一个例子解释L1的作用可以使得模型获得稀疏解L1正则使得模型的解稀疏正则化之所以能够降低过拟合的原因在于，正则化是结构风险最小化的一种策略实现。**给loss function加上正则化项，能使得新...
2019-05-29 10:54:21
313
原创 L1正则使得模型的解稀疏
下图给出目标函数y=x3+2x−3x3+0.5y=x^{3}+2x-3x^{3}+0.5y=x3+2x−3x3+0.5在添加了L1正则项和L2正则项后解的变化情况L1正则2.5∣x∣L2正则2.5x2L1正则 2.5\left| x \right|\\L2正则 2.5x^{2}L1正则2.5∣x∣L2正则2.5x2可以看到，因为有了L1正则，使得原始代价函数的解变成了现在的0，即...
2019-05-27 21:03:57
360
原创 Python, NumPy, Pytorch中的多进程中 每个进程的随机化种子 误区
python中多进程种子seedpython自带的random在不同子进程中会生成不同的种子，而numpy.random不同子进程会fork相同的主进程中的种子。pytorch中的Dataloader类的__getitem__()会在不同子进程中发生不同的torch.seed()，并且种子与多进程的worker id有关（查看**worker_init_fn参数说明）。但是三者互不影响，必须独立...
2019-05-14 15:11:06
2811
原创 Pytorch中的Batch Normalization layer踩坑
1. 注意momentum的定义Pytorch中的BN层的动量平滑和常见的动量法计算方式是相反的，默认的momentum=0.1x^ new =(1− momentum )×x^+ momemtum ×xt\hat{x}_{\text { new }}=(1-\text { momentum }) \times \hat{x}+\t...
2019-05-12 15:00:28
12482
10
原创 深度学习中多GPU训练
先说我认为的结论，若夸卡训练中有统计数据同步（比如BN层的runing average 和 variance），这时单卡和多卡效果是一样的，只不过多卡增大了batch size，否则就不是严格的增大batch，因为统计数据可能不够准确。可以参考一下我摘录的小笔记，以BN层为对象，思考一下其他老师同学的回答：Pytorch Batch Normalizatin layer的坑在实际应用中，增大b...
2019-05-12 14:59:00
6665
原创 Pytorch何时能够使用inplace操作
1.对于在求梯度阶段需要用到的张量不能使用 inplace operation有时为了节省内存，比如ReLu单元，我们可以使用inplace=True来将output tensor 覆盖在input tensor的内存位置上。但是从pytorch中的autograd的视角来看，依然将会追踪到两个不同的tensor，只不过是这两个tensor在内存中处于同一个位置。如果在反向传播中，需要使...
2019-04-04 16:10:40
3779
5
转载 python中的函数必须在调用之前(函数调用函数例外)定义
转载自标准的先函数定义，后函数调用def add1(a,b): return a+bprint add1(1,2)函数2可以调用后面定义的函数3#事实上，我们在调用函数2的时候，一样是遵循先定义后调用的准则def add2(a,b): return add3(a,b)def add3(a,b): return a+b print add2(1,2)...
2019-04-03 14:58:27
6050
转载 python中的 += 操作是 in-place，会覆盖原始内存
You avoid the in-place by doingout = out + residualYou can verify that with other data structures as well:a = []b = a # b is the same as aa += [5]print(b) # prints [5]# nowa = []b = a...
2019-04-02 10:45:45
723
原创 Pytorch 中 expand, expand_as是共享内存的，只是原始数据的一个视图 view
mask = mask_miss.expand_as(sxing).clone() # type: torch.Tensormask[:, :, -2, :, :] = 1 # except for person mask channel为了避免对expand后对某个channel操作会影响原始tensor的全部元素，需要使用clone()如果没有clone(...
2019-03-30 10:57:41
2096
转载 pytorch 恢复保存的优化器状态，继续优化
转载：https://github.com/jwyang/faster-rcnn.pytorch/issues/2221. 优化器状态保存的是cuda类型Tensor，但是再入时为了节省内存，实用了map to cpu，因此完成载入后需要再转换成cuda类型Tensoryou can re-initialise the weights manually using thismodel...
2019-03-12 11:28:16
6423
原创 ubuntu安装HDF5 1.10.4 以及对应的python hdf5包
1.安装HDF5 1.10以及对应的python hdf5的包 （HDF5 1.10.4安装具体可参考其他博客）2. 使用命令行环境变量安装对应的python hdf5包，HDF5_DIR=/usr/local/hdf5 pip install h5py系统内安装有其他HDF5版本，比如1.8.16，为了使用新安装的版本所以添加环境变量制定使用的HDF5版本（参考：https:/...
2019-02-22 10:27:56
4271
转载 如何理解神经网络中通过add和concate的方式融合特征？
Hengkai Guo的回答 - 知乎 https://www.zhihu.com/question/306213462/answer/562776112下面的解释出自上面的链接对于两路输入来说，如果是通道数相同且后面带卷积的话，add等价于concat之后对应通道共享同一个卷积核。下面具体用式子解释一下。由于每个输出通道的卷积核是独立的，我们可以只看单个通道的输出。假设两路输入的通道分别...
2019-01-07 16:02:26
18376
原创 python中的 type hint 类型提示
许多IDE（如pycharm)会有输入类型提示和自动代码补全，就是靠类似于静态语言中的变量类型声明的做法。python语言是动态的，所以不存在需要使用重载功能，python中的重载只是为了类型提示和参数数目提示。1. 使用overload或者typing.TypeVar（后者要求固定参数数目）使用overload可以提示同一个名字的函数（方法）支持的不同类型和数目的形参。使用typin...
2018-12-22 10:51:11
9527
原创 mac上安装python3.6 设置虚拟环境
使用home brew进行mac系统上的各种包的管理比较方便。使用brew安装pytho3和方便地进行不同版本python直接的切换。1. 使用home brew 安装 python3.6转载自mac系统会自带python，一般是python2.6或python2.7。但是你可能需要用到python3.x，所以需要自己在mac系统中安装python。推荐采用homebrew安装pytho...
2018-12-17 19:49:23
5542
原创 You don't have write permissions for the /usr/bin directory.
You don't have write permissions for the /usr/bin directory.在OSX系统中，/usr/bin属于系统级别的保护，任何人不能写入，包括root也一样，是绝对禁止写入的，唯一的办法就是，安装到/usr/local/bin里面去。所有，指定一下安装路径：sudo gem install iStats (软件名)-n /usr/local/...
2018-12-17 16:19:31
2584
原创 __setattr__, __getattr__, __getattribute__, _ getitem_的用法和区别
一、类实例属性的获取与设置转载自转载自1. __getattribute__程序每次访问对象属性时，Python系统都会调用这个特殊的方法，即使属性字典里面已经有了改属性，也依然会触发__getattribute__。__getattribute__方法下应该避免使用self.attr访问属性，否则会出现无限递归。如要要访问实例属性，应该直接通过super()来做。2....
2018-12-03 20:50:07
1885
转载 Boosting numpy: Why BLAS Matters & build the numpy with MKL
OpenBlas和MKL的加速作用: http://markus-beuckelmann.de/blog/boosting-numpy-blas.html如何从源程序build利用MKL的numpy和scipy: https://www.elliottforney.com/blog/npspmkl/ OpenBlas和MKL的加速作用I recently noticed that...
2018-11-09 22:09:09
766
转载 python中attribute(特性)和property(属性)的区别
property 是特殊的 attribute，详细讨论：https://www.zhihu.com/question/40015172
2018-10-31 10:37:41
7190
转载 Mask RCNN学习
板砖，youtube上的一个讲解视频https://www.youtube.com/watch?v=2TikTv6PWDw
2018-10-17 14:55:04
194
原创 ubuntu 14.04 安装惠普打印机驱动（测试成功）
根据网上的许多教程进行了尝试，但是都失败了。今天终于摸索成功！我的情况是在ubuntu14.04的机器上安装惠普打印机驱动，打印机不是直接与电脑有USB连接，而是在一个路由器下。并且没能成功通过系统设置里的方法添加，因此有了这篇博客。1. 安装hplip，选择一个最新版本 点击打开运行hplip的run文件，在此不需要加sudo，安装到后面会提示输入密码，sh hplip***.run，然...
2018-10-06 18:24:51
2534
转载 pytorch中data和detach()的区别
简单地说，推荐使用detach()，因为这样更安全。知乎上有篇说明：https://zhuanlan.zhihu.com/p/38475183"However, .data can be unsafe in some cases. Any changes on x.data wouldn’t be tracked by autograd, and the computed gradi...
2018-08-29 15:05:37
21207
Python3.X编程初步实践环节.pdf
2019-07-04
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人