- 博客(21)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 faster-rcnn数据处理总结
reldb->blob图像增强水平翻转step 1:修改reldb具体来说，reldb本身是由5个属性组成的，所以生成的新reldb还是要按照这个格式，区别在最后 1. def get_training_roidb(imdb) 2. imdb.append_flipped_images_rel() 因为这个函数是imdb特有的，所以函数属于imdb.py imdb.py: 3. widths = self._get_widths_rel() 获得按照顺序的图片宽度 vg.py （因
2021-08-18 23:46:34
262
原创 将pytorch的DataParallel转移到DistributedDataParallel
需要转移的原因DistributedDataParallel是多进程的，并且支持多机并行训练。且哪怕只有1个gpu，也会提升20%的速度几个概念目标是一个进程控制一个gpuargs.world_size = args.gpus * args.nodes #每个节点内的GPU个数×节点数def setup(rank, world_size): os.environ['MASTER_ADDR'] = 'localhost' os.environ['MASTER_PORT'] = '1
2021-08-18 22:06:42
287
原创 CUDA c编程笔记
记录事件流程：1 cudaEvent_t start, stop; 声明开始、停止的cudaEvent_t 变量2 float elapsedTime; 运行时间变量3开启计时器 CHECK( cudaEventCreate( &start ) ); CHECK( cudaEventCreate( &stop ) );4 CHECK( cudaEventRecord( start, 0 ) ); 开始计时5 需要计时的代码 …6停止和统计时间CHECK(
2021-07-10 21:38:23
519
原创 windows挂载远程ubuntu硬盘
预备软件首先在https://github.com/billziss-gh/sshfs-win/tree/v3.7.21011 网页上下载两个软件步骤1右键“此电脑”，点击“映射网络驱动器”，如图：文件夹路径这样写： \\sshfs\root@10.193.181.222!9989\home之后电脑会要求输入用户名和密码。一直有个坑，如果我不加root@，看似下一阶段无论如何都需要需要输入用户名，但如果这里不加用户名，就会提示“拒绝访问”命令行启动和在操作节面里面情况一样NET US
2021-05-05 00:53:42
1547
原创 pytorch编写cuda/c++ extention 方法
起因我在尝试一篇目标识别的论文的开源代码时，发现由于其NMS、LSTM等模块是使用c++编译的（为了弥补python速度的短板），对Pytorch要求不能使用超过0.3的版本。和FASTER RCNN开源代码很像，不过Faster-rcnn官方更新了其包含的c++文件，从而可以在pytorch大于1的版本上使用。我不想退回pytorch 0.3版本，于是尝试重写c++/cuda 扩展的模块prerequisiteCUDA10.0pytorch1.4+cu100torchvision0.5.0+cu
2021-01-31 23:56:18
1530
1
原创 我经常会忽略的python trick
dict、list篇1、如果想要复制一个dict或者list,别要用.copy()，用了就会导致拷贝的链接，内容会变使用copy.deepcopy()可以解决2、有一个很好的dict内容排序方法，当然也是把dict转化为list的，不过更简洁：sort_surrounding = sorted(sort_surrounding.items(), key=lambda x: x[1][-1], reverse=False)这样返回的虽然是List，但通过多层调用，类似：final_data_pr
2020-09-02 16:06:05
133
原创 docker 出现的问题
docker避免启动container发生闪退，无法exec的方法：docker run -it --name <container> <image> bash接着docker exec -it <container> bash基本流程：首先，根据现有的或者重新建立一个image，于此同时可以执行一些docker run -it --name xiaoguang_test cxgv2:latest bashdocker start xiaoguang_
2020-08-31 20:18:49
449
原创 second.pytorch、pointpillars运行踩坑大全
欢迎使用Markdown编辑器numony的pytorch.second主要是做pointpillars的，下载kitti后要建立imageset文件夹，并使用脚本来将编号拆分为train test eval三部分。否则无法运行create data.py要想使用另外一块gpu，改变train.py里面的cuda:0是会报错的，正确方法是在python3 train.py前面加上CUDA_VISIBLE_DEVICES=1使用traveller58的second.pytorch是为了使用可视化，但是
2020-07-09 21:01:56
1344
原创 在ros里使用Gige相机，并转换图像格式为opencv mat
最近在做无人驾驶方面的东西，老师给了一个摄像头，是Gige协议，公司叫microview的不知名公司，连驱动也只有ubuntu16.04的。百度一搜，有关ROS的都是USB摄像头，仔细想想，USB摄像头还是小儿科了一点，性能应该不如千兆网口的。基本现在市面买的摄像头也没提供ros方案。于是只能自己写package。用千兆网口摄像机的几种解决方案1千兆网口，但协议是rstp之类的网络摄像头。这种摄像头是输出h.265或者MJPEG之类的格式。不管在opencv还是ros都容易调用2 gige/gig v
2020-06-25 15:31:52
1593
1
原创 备份jetson xavier
备份命令sudo ./flash.sh -r -k APP -G my_backup.img jetson-xavier mmcblk0p1./flash.sh是随着刷机之后，自动产生的文件。刷机结束后，出现的是nvidia文件夹。backup.img可以自己修改名字。mmcb1k0p1是xavier的emmc名称，无法修改。烧写把生成的.img和.img.raw文件重命名为system.img，system.img.raw。再导入bootloader文件夹，并替换原有的img和.img.raw文
2020-06-13 14:39:29
657
原创 could not build wheels for scipy which use PEP 517 and cannot be installed directly解决
前几天，给我的jetson xavier重新刷系统，刷的是jetpack4.3版本。之后在pip3 install keras的时候，始终卡在安装scipy的地方，经过一番努力，最后报错内容大致是“could not build wheels for scipy which use PEP 517 and cannot be installed directly”这个问题困扰到我打算重新刷机，最...
2020-04-05 17:27:09
12291
5
原创 对apt、pip、git命令进行加速
疫情期间，一直待在新疆的家里，网络情况不好，有时候不得不使用命令行进行操作，普遍速度只有几kb/s，最终摸索出方法，可以达到1mb/s，主要用于pip3 install、git clone、apt-get install等命令情况下。最后，采用“别名”代替冗长的命令段。prerequisite首先你得能有机会连接到一条比较快的网上，相比于在ubuntu里面使用命令行，仅让电脑快速上网不是大问题...
2020-04-05 17:02:46
324
原创 服务器配置深度学习环境
一共有两种方法首先先执行sudo apt-get install libc6-dev build-essential亲测如果不执行，手动安装nvidia driver会报错使用apt的方法（比较方便，简单）参考了tensoeflow官网的安装方法，Ubuntu 18.04 (CUDA 10.1) # Add NVIDIA package repositories wget...
2020-03-20 20:00:07
392
原创 急速本地机与远程服务器文件传输
问题起源：在google cloud platform训练好一个300MB模型，发现自带的下载手段速度不超过10kb/s，GitHub又有文件大小不超过100MB的限制，所以尝试PPUTY的传输准备工作1打开putty，新建session2输入远程主机ip地址，默认端口223在windows菜单栏调整显示参数，包括字体等4回到session,点击save5点击open，登录自己云端服...
2020-02-29 16:13:25
385
原创 GPU内存不够用怎么办？（5分钟扩充显存到32GB）
为什么需要swap?在我使用TENSORFLOW期间，我发现我16GB内存不够用，交换 内存可以将存储空间的一部分用于内存使用。该方法在jetson xavier上实测有效。开始-$ df -hThis will show your file system and how much space you have left.-$ sudo fallocate -l 8.0G /sw...
2020-02-16 09:54:28
12958
3
原创 在ubuntu上开发深度学习的必备命令
系统类：①更新软件包：sudo apt-get update && sudo apt-get upgrade可解决由系统缺失一些包导致的错误，比如系统问题，桌面显示不正常，一直闪屏等②显示终端当前路径：pwd③TAB键可以辅助显示命令或者文件名，意味着你只需输入开头字母检查软件是否安装&版本号①opencv②CUDA③cudnn④tensorflow⑤p...
2020-02-12 23:50:09
277
原创 解决ubuntu上apt-get update失败的问题
写作原因这两天一直被apt-get update报错（404 not found）所困扰，因为我在安装pycharm的时候，需要有JAVA JDK环境。而最常用的解决方法是1：1:多数博客介绍解决pycharm安装问题，都会建议下载oracle jdk来解决"jdk not found"的问题，然而这个方案完全不可行，会提示“no valid license found"2、apt-get ...
2020-02-12 23:37:15
4570
原创 在nvidia jetson xavier、tx2上安装任意版本opencv
预先条件安装了jetpack4.2以上版本，通常已经自带opencv,但由于该opencv功能不全面，我们需要删除并安装行版本删除命令： sudo apt-get purge libopencv*通过脚本安装两种选择① 一键脚本操作： git clone https://github.com/jetsonhacks/buildOpenCVXavier.git cd buildOp...
2020-02-09 13:35:26
4987
原创 在nvidia jetson xavier (或tx2)上安装任意tensorflow-gpu教程
网上有许多讲解如何在xavier或者tx2上安装tensorflow的文章，但多多少少有一些问题，大致是：1、无法选择tensorflow版本，且还要和作者的jetpack版本一致，实际上这很难做到。2、安装过程很多错误，更有文章写了一堆命令后，告诉读者这样做是错的，白走弯路。3、过程极其繁琐。4、不是gpu版本实际上，大家如果养成看nvidia developer网站，就可以获得一手有...
2020-02-02 03:15:09
2682
原创 在ubuntu上开发常见问题的解决
一、执行： sudo apt-get update 失败，并提示Could not get lock /var/lib/apt/lists/lock - open (11: Resource temporarily unavailable)E: Unable to lock directory /var/lib/apt/lists/解决：这是因为有进程占用，需要关闭进程：1、使用命令： p...
2020-02-02 02:29:19
199
原创 如何在自己PC上开始学习linux？
一、版本选择：大家电脑是windows居多，学习linux主要是选择ubuntu操作系统，主要原因是其开发界面十分友好、精致，选择的版本主要是ubuntu 16.04 LTS(17年发布)以及18.04（19年初发布，也是ubuntu最新版）。我用过14.04-18.04三个时期的系统，因为我无法选择：从开始的nvidia tk1到nvidia tx2到现在的nvidia xavier，系统是收...
2020-01-26 23:26:00
307
2048游戏c++。MFC，带ADO数据库连接ACCESS，记时，记分，排行榜，个人中心，
2018-11-16
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人