- 博客(208)
- 收藏
- 关注
RSS订阅原创 解决DDP的参数未参与梯度计算
将find_unused_parameters改成False之后，如果出现模型有些参数未参与loss计算等错误。或者，乘以0与模型的loss进行相加，使未用到的参数也参入了loss计算。可以用环境变量来debug查看log。可以将这些未用到的参数注释掉。代码上可以用以下方法查看。
2023-10-06 13:50:19
430
原创 torch 指定显卡
torch.cuda.set_device()的优先级低：如果model.cuda()中指定了参数，那么torch.cuda.set_device()会失效，而且。2. shell中指定。3. 模型/参数中指定。
2023-07-28 17:55:39
1309
原创 Warning: Grad strides do not match bucket view strides. 可能影响DDP性能
1. transpose或permute造成内存不连续。2. 切片操作造成内存不连续。
2023-06-08 23:12:35
706
原创 torch.distributed.launch多卡多机
master_addr：master节点的ip地址，也就是0号主机的IP地址，该参数是为了让 其他节点 知道0号节点的位，来将自己训练的参数传送过去处理。-master_port：master节点的port号，在不同的节点上master_addr和master_port的设置是一样的，用来进行通信。命令中的【–master_addr=‘172.18.39.122’】指的是0号机器的IP，在0号机器上运行的命令中【node_rank】必须为0。node_rank：节点的序号，从0开始。
2023-05-26 11:31:00
1576
原创 vscode debug Attach mode
在使用vscode debug时，如果调试python脚本其实很简单。比如使用torchpack启动的分布式python任务。3. 在vscode代码中加入断点breakpoint。5. 在vscode中点击debug按钮，可以单步了。2. 在python代码中加入debugpy代码段。.vscode/launch.json文件。需要用到vscode的Attach Mode。.vscode/launch.json文件。4. 在terminal中跑分布式任务。1. 配置launch.json。
2023-04-17 19:58:53
656
原创 tensorboard 与 Tabby使用
2. 开启tensorboard，--port可省略默认是6006。3. 本地浏览器打开127.0.0.1:16006即可。远端服务器的tensorboard使用。Tabby中设置端口映射。
2023-03-30 15:45:24
322
原创 Bluetooth 蓝牙5.0 ubuntu 18.04
目前，ubuntn对蓝牙5.0支持的比较差。市面上暂时没有免驱动的蓝牙5.0适配器。我用的蓝牙适配器是 ORICO BTA608，官网上支持win7-win10。因为，ORICO BTA608使用的是TRL8761B芯片，所以我手动安装驱动。我的内核做了一次升级（后来发现有可能不用升级）参考这篇博客即可ubuntu 更新内核HWE_billbliss的专栏-CSDN博客Ubuntu 20.04 LTS - Focalsudo apt-get install --install-r
2021-12-15 16:02:46
5873
1
原创 ubuntu 更新内核HWE
Ubuntu 20.04 LTS - Focalsudo apt-get install --install-recommends linux-generic-hwe-20.04Ubuntu 18.04 LTS - Bionic# DESKTOPsudo apt-get install --install-recommends linux-generic-hwe-18.04 xserver-xorg-hwe-18.04 # SERVERsudo apt-get install --i
2021-12-15 15:40:06
2410
原创 SSE加速实战之 二阶范数计算
void arrayCalcCPP(F32 *p1, F32 *p2, F32 *pSum, S32 len){ S32 i = 0; for (i = 0; i < len; i++) { pSum[i] = sqrtf(p1[i] * p1[i] + p2[i] * p2[i]); }}void arrayCalcSSE(F32 *p1
2021-11-05 09:51:20
493
原创 ubuntu多屏幕 / 高分屏的分辨率配置
遇到的问题是当显示器一个是1080，一个是4k。如果直接使用会遇到高分屏的分辨率问题，显示界面非常细腻，文字和图标过小。首先尝试的是，用setting中的显示配置，调整scale。但是，ubuntu不支持多屏幕有多个scale。于是，使用xrandr来配置 相对比较容易。xrandr --auto --output HDMI-0 --pos 0x0 --mode 3840x2160 --primary --scale 0.9999x0.9999 --output DP-4.
2021-11-04 13:18:14
3285
1
原创 Neural surface reconstruction表面重建
Method Mask needed Training Rendering Occupacy type Transparence expression NeRF N Slow Slow Density volume IDR Y Slow Fast SDF surface NLR Y Slow Fast SDF
2021-09-27 23:29:23
701
原创 NeRF算法
NeRF使用MLP学习density和colorPlenOctree使用MLP学习density和SH spherical，支持relight使用八叉树加速遍历相比NeRF速度提升约3000倍SNeRG使用MLP学习density，color和specularOpacity Regularization占用正则化，使模型稀疏化。ray casting加速：相比于NeRF在视线方向做采样点的density和color的加权，SNeRG会在遇到不占用的voxel跳过，
2021-09-24 16:46:06
1931
原创 SMPL STAR人体模型系列
SCAPE: 人体模型SMPL: 人体模型SMPL-H: 人体+手SMPL-X: 人体+手+人脸（FLAME）STAR: SMPL的改进版人体模型主要思想是将pose, shape解耦，用参数化的方式描述人体表面的信息。SCAPE：基于三角面片deformable的人体模型。SMPL：基于点云deformable的人体模型。SMPL使用点云deformable的方式更适合skining blending，模型在目前的Maya, Blender, Unreal E.
2021-08-24 11:32:10
2954
1
原创 N卡驱动和cuda安装
删除驱动和cudasudo apt-get purge nvidia*安装驱动（1）ppa安装法首先我们需要添加源，sudo add-apt-repository ppa:graphics-drivers/ppasudo apt update然后检查可以安装的驱动版本，ubuntu-drivers devices选择最合适的版本安装即可，sudo apt install nvidia-driver-XXX最后，重启Ubuntu系统，输入nvidia-smi查
2021-08-12 12:19:36
733
原创 anaconda 库冲突问题
我们在安装anaconda之后，会因为环境变量的LD_LIBRARY_PATH导致错误的链接问题。比如库的冲突。比如，在编译colmap算法库的时候，就存在链接错误。/usr/lib/gcc/x86_64-linux-gnu/5/../../../x86_64-linux-gnu/libfreeimage.so: undefined reference to `TIFFReadEncodedStrip@LIBTIFF_4.0'/usr/lib/gcc/x86_64-linux-gnu/5/../
2021-01-04 11:42:11
1487
1
原创 Ubuntu终端多窗口分屏Terminator
Ubuntu终端多窗口分屏Terminator1、安装Terminator最大的特点就是可以在一个窗口中打开多个终端sudo apt-get install terminator2、快捷键Ctrl+Shift+E 垂直分割窗口Ctrl+Shift+O 水平分割窗口Ctrl+Shift+W 关闭当前窗口Ctrl+Shift+Q 关闭所有窗口F11 全屏Ctrl+Shift+C 复制Ctrl+Shift+V ...
2021-01-03 11:18:24
929
原创 ubuntu中apt-get install 改用阿里云作为数据源
首先可以将系统中的数据源的源列表文件备份一下。sudo cp /etc/apt/sources.list /etc/apt/sources.list.bak然后编辑源列表文件内容sudo vim /etc/apt/sources.list将里面的内容改为阿里云即可，以下是用Ubuntu16.04为例子。16.04对应的代称是xenial。如果其他版本，可以将代称修改。deb http://mirrors.aliyun.com/ubuntu/ xenial main restrict
2021-01-02 12:22:24
1392
1
原创 Eigen 安装常见问题
Eigen安装可以用apt-get install libeigen3-dev#include<Eiegn/Core>通常在包含头文件之后，会出现以下错误。fatal error: Eigen/Core: No such file or directorycompilation terminated.如果安装好的话会出现eigen库的所有文件，那么我们还需要检查CMakelist文件是否包含了eigen库的头文件，即include_directories("/usr/i
2020-12-24 20:28:57
968
1
原创 docker 中使用GUI应用的界面可视化
步骤上主要是两步：1） 开放权限，允许本地连接xhost +local:2）将/tmp/.X11-unix共享到容器中docker run -it --net=host --rm -e DISPLAY=$DISPLAY -v /tmp/.X11-unix:/tmp/.X11-unix ${docker_image}参考：http://blog.lujun9972.win/blog/2018/04/24/docker%E5%AE%B9%E5%99%A8%E4...
2020-12-24 15:59:50
501
1
原创 ubuntu appimage 使用和管理
1.Ubuntu中x.appimage文件是可执行文件。使用时只需要注意可执行权限。即 chmod + x ./***.appimage2. appimage不能安装在系统内，也不方便查找，锁定在侧边栏也不方便。可以使用管理工具：appimagelauncher。https://github.com/TheAssassin/AppImageLauncher在里面下载最新的release包 ×.deb。安装是用 dpkg -i ./x.deb。...
2020-12-12 13:15:08
2432
原创 Qt Linguist 多语言支持
这里关于pyQt工程的翻译1. 代码中使用tr()来包含待翻译字符串QString str＝tr(“hello,world!”)2. pylupdate5 生成带翻译字符串的*.ts文件pylupdate5 ./*.py -ts zh_CN.ts3. 使用QtLinguist打开*.ts文件，选择翻译地域， 并逐个填入翻译后的字符串4. 选择Release发布翻译后的文件*.qm...
2020-10-19 11:48:04
271
原创 miniconda创建虚拟python环境
1. conda帮助信息查询，每个模块都能用helpconda --version 查看conda版本conda -Vconda --help 获取帮助conda -hconda update --helpconda remove --help2. 查看python版本环境列表conda env list或者conda info -envs3. 创建Python环境...
2020-02-25 11:16:10
2316
原创 miniconda 安装与配置
1. 安装miniconda2 miniconda3$ bash Miniconda2-latest-Linux-x86_64.sh$ bash Miniconda3-latest-Linux-x86_64.sh安装过程中都使用默认配置就可以。也就是一路回车。安装快结束的时候还会有提示，例如Preparing transaction: doneExecuting trans...
2020-02-25 10:46:44
4540
转载 [c++11]多线程编程(六)——条件变量(Condition Variable)
互斥锁std::mutex是一种最常见的线程间同步的手段，但是在有些情况下不太高效。假设想实现一个简单的消费者生产者模型，一个线程往队列中放入数据，一个线程往队列中取数据，取数据前需要判断一下队列中确实有数据，由于这个队列是线程间共享的，所以，需要使用互斥锁进行保护，一个线程在往队列添加数据的时候，另一个线程不能取，反之亦然。用互斥锁实现如下：#include <iostre...
2020-01-12 17:33:28
231
原创 OpenCV3.3+CUDA9.2
使用Cmake编译opencv源码遇到如下错误CMake Error: The following variables are used in this project, but they are set to NOTFOUND.Please set them or make sure they are set and tested correctly in the CMake files:...
2019-06-05 16:13:51
509
原创 配置eigen3和ceres为thirdparty
配置ceres为第三方库时，发现会需要依赖eigen3。这时如果eigen本地版本有冲突就会出现链接错误。所以就将eigen3也做了第三方库。首先需要将eigen3"安装"一遍，这样会自动生成*.cmake文件cmake -D CMAKE_INSTALL_PREFIX=./build_lib ..make install比如上面就是把eigen3源码安装到./build_lib...
2019-03-15 22:08:57
1357
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人