深度学习
csuzhaoqinghui
这个作者很懒,什么都没留下…
展开
-
鱼眼数据集
https://woodscape.valeo.com/download原创 2021-08-30 13:53:33 · 1395 阅读 · 0 评论 -
出现未满足的依赖关系:“依赖:libpng12-0”
解决方法如下:在终端输入以下命令:sudo add-apt-repository ppa:linuxuprising/libpng12sudo apt-get updatesudo apt-get install libpng12-0原创 2021-06-29 09:39:34 · 1304 阅读 · 0 评论 -
ffmpeg 抽帧处理
ffmpeg -i 前视_30.mp4 -r 1 -q:v 2 -f image2 front30/second_%08d.jpg原创 2021-05-13 11:58:04 · 1668 阅读 · 0 评论 -
pytorch训练使用tensorBoard查看loss
ssh -L 16006:127.0.0.1:6006 account@server.addressrun tensorboard --logdir=*** --port=6006 at server and then refer to http://127.0.0.1:16006/ in a local browser.原创 2021-03-10 20:05:05 · 1104 阅读 · 0 评论 -
自动驾驶多任务模型设计思路的简介
1、在自动驾驶领域如何设计一个多任务算法的框架,推动对整体功能上线很重要。2、一个batch里a任务跑完求解loss_a,再 b任务跑完求解loss_b,接着c任务跑完求解loss_c,。。。。,3、每个任务的neck和head单独更新梯度和权重,backbone一次batch只更新一次梯度和权重。4、每个任务单独构建自己的计算图,模型forward backward多次,5、每次forward backward只处理一个任务,然后做梯度累加,最后统一更新参数。...原创 2021-03-08 19:26:01 · 425 阅读 · 0 评论 -
linux中计算文件个数
linux中计算文件个数查看当前目录下的文件数量ls -l |grep "^-"|wc -l或find ./folder_name -type f | wc -l 查看文件夹数目:ls -l ./|grep "^d"|wc -l注:folder_name 指的是:当前目录下的你要查询的文件夹名查看某文件夹下文件的个数,包括子文件夹里的ls -lR|grep "^-"|wc -lls -l长列表输出该目录下文件信息(注意这里的文件,不同于一般的文原创 2021-03-01 19:50:48 · 434 阅读 · 0 评论 -
docker及nvidia-docker安装(离线)
硬件及系统硬件,一台64C256G2000G(64核心256G内存2T存储4×V100机器) 挂载硬盘, 格式化分区(mkfs.ext4),想要挂载的硬盘名为/dev/vdb,则执行mkfs.ext4 /dev/vdb 加载分区 a、创建分区挂接目录,例:mkdir xxb、编辑 /etc/fstab 配置文件,将分区信息写进去。/dev/vdb /xx ext4 defaults 0 0c、加载新建分区:mount -a修改文件权限,所有用户可用chmod原创 2021-02-26 09:33:52 · 2631 阅读 · 0 评论 -
nvidia-smi卡顿详解
如果显卡数量在4张以上,在nvidia-smi信息后会非常的慢,非常的卡。尤其在只在乎计算量服务器的时候。我试过把8张卡 tesla K80 显卡一个个拆下来 8张、7张 6/5/4/3/2/1试试nvidia-smi 结果速度都一样。需要4到5分钟时间,甚至都不出直接死机。解决方法 开始的时候以为是driver没有安装好,但是使用nvidia-smi之后可以显示GPU信息,只是疑惑Persistence-M为什么是off呢。。。然后就将其状态改为ON试试,就可以了。nvidia-..原创 2021-02-25 17:04:56 · 9041 阅读 · 2 评论 -
自动驾驶词汇概念介绍
自动驾驶中常用的词汇介绍ACC:自适应巡航adaptive Cruise Control (控制辅助类术语)实时监测车辆前方行驶环境,在设定的速度范围内自动调整行驶速度,以适应前方车辆和/或道路条件等引起的驾驶环境变化。ADAS:先进驾驶辅助系统advanced driver assistance systems利用安装在车辆上的传感、通信、决策及执行等装置,实时监测驾驶员、车辆及其行驶环境,并通过信息和 / 或运动控制等方式辅助驾驶员执行驾驶任务或主动避免 / 减轻碰撞危害..原创 2021-02-20 20:22:09 · 6788 阅读 · 0 评论 -
随机切分文件内容
可以直接用shuf命令就可以完成:shuf -n 483 train.txt > demo_test.txt原创 2021-02-20 09:29:20 · 250 阅读 · 0 评论 -
Could not install packages due to an EnvironmentError: [Errno 28] No space left on device
在服务器上用pip安装torch时出现了如下的问题Could not install packages due to an EnvironmentError: [Errno 28] No space left on device调试发现了是服务器上的/tmp空间不足,由于是非Root用户,解决的方法是先在自己的根目录建一个tmp目录具体进行如下操作$ cd ~$ mkdir tmp$ export TMPDIR=$HOME/tmp原因还是根目录/tmp已经快用尽了...原创 2021-02-18 11:24:38 · 696 阅读 · 0 评论 -
git 代码合入和提交技巧
git commit -m "[fix/xx] fix xx"git push origin zqh/feature/xxgit rebase -i HEAD~4git push origin zqh/feature/xx:zqh/feature/xx -fgit cherry-pick 728xxgit push origin rebase:zqh/feature/xx -fgit cherry-pick --continuehttps://blog.csdn.net...原创 2021-01-15 15:24:30 · 950 阅读 · 0 评论 -
FCOS 计算loss源码解读
最近在看FCOS论文总觉得不够具体,特此调试了源代码解读源代码以供自己以后查看。其中有很多技巧如果不是读作者源码是很难想到的。包含一下内容:如何根据原始数据的box坐标生成loss函数需要的box样式 如何根据大小不同box的分配不同level的特征图 """This file contains specific functions for computing losses of FCOSfile"""import torchfrom torch.nn import function转载 2021-01-08 16:08:05 · 710 阅读 · 0 评论 -
python 去除不可见字符 \x00\x00\x00\x00\x00
n_str = "abdce\x00\x00\x00\x00\x00"n_str = n_str.strip(b'\x00'.decode())原创 2020-12-24 15:57:05 · 5188 阅读 · 1 评论 -
使用ssh命令出现:packet_write_wait: Connection to **** port 22: Broken pipe 解决!
使用ssh命令出现:packet_write_wait: Connection to **** port 22: Broken pipe 解决!在github找到了完美的解决方案!感谢~https://github.com/vmware/open-vm-tools/issues/287解决方案:在~/.ssh目录新建文件config在github找到了完美的解决方案!感谢~https://github.com/vmware/open-vm-tools/issues/287.原创 2020-12-08 13:56:51 · 5735 阅读 · 2 评论 -
查看端口号
netstat -nltp原创 2020-12-07 11:37:20 · 118 阅读 · 0 评论 -
移动端机器学习框架SNPE的使用
NPE SDK能够帮助开发者做什么事情?Qualcomm骁龙神经处理引擎(Neural Processing Engine, NPE)SDK 能够帮助有意创建人工智能(AI)解决方案的开发者,在骁龙移动平台上(无论是CPU、GPU还是DSP)运行通过Caffe/Caffe2或TensorFlow训练一个或多个神经网络模型,且无需连接到云端,实现边缘计算。NPE SDK能帮助开发者在骁龙设备上运行受过训练的神经网络并优化其性能。NPE SDK提供了模型转换和执行工具,以及针对核的API,利用功率和性能转载 2020-12-01 11:30:33 · 3949 阅读 · 0 评论 -
opencv3升级到opencv4需要修改的地方
1、报错关于:CV_LOAD_IMAGE_COLOR,加入头文件#include <opencv2/opencv.hpp> //头文件using namespace cv; //包含cv命名空间并将CV_LOAD_IMAGE_COLOR改成IMREAD_COLOR1、报错关于:CV_LOAD_IMAGE_GRAYSCALE,加入头文件#include <opencv2/opencv.hpp> //头文件using namespace cv; /..原创 2020-11-29 18:13:22 · 1758 阅读 · 0 评论 -
Yolov5 pytorch模型转tensorrt
yolov5 模型转tensorrt一. github开源代码yolov5 TensorRT推理的开源代码位置在https://github.com/linghu8812/onnx_trt_deploy/tree/master/yolov5,PyTorch转onnx的代码见从原作者fork过来的代码:https://github.com/linghu8812/yolov5,对模型转换做了一点修改。二. pytorch模型转onnx模型首先通过命令git clone https://githu转载 2020-11-05 10:41:48 · 1360 阅读 · 0 评论 -
求两张图的diff图
import cv2img = cv2.imread("/media/zhao/E/1599534466507077.jpg")bg_img = cv2.imread("/home/zhao/030_BG.jpg")#n = cv2.subtract(img, bg_img)n = cv2.absdiff(img, bg_img)n = cv2.resize(n, (960, 540))cv2.imshow("img", n)cv2.waitKey(0)原创 2020-11-04 20:31:23 · 811 阅读 · 0 评论 -
如何将label转换成二进制的bin文件
import sysimport osimport xml.etree.ElementTree as ETfrom struct import *root="/home/zhao/xml"output="labels_obstacle.bin"def write_labels(): names = os.listdir(root) file = open(output, "wb") file.write(pack("i", len(names))) for.原创 2020-11-03 13:55:39 · 215 阅读 · 0 评论 -
python进行物体轮廓插值处理
#!/usr/bin/env python# -*- coding: utf-8 -*-import cv2import osscale = 1#2roi_start = 56r_scale = 16high_h = 1080high_w = 1920list_path = "list_camera0701.txt"def inter_xy(img, xy, lpath): k=-1 new_label = [] for xxy in xy: .原创 2020-10-30 15:59:36 · 822 阅读 · 0 评论 -
日志切分
lines = [line.strip() for line in open("/media/zhao/F/fbag/log3.log", 'r').readlines()]all_time = 0.0for line in lines: #print(line.split(":")[-1].replace("ms", "")) all_time = all_time+ float(line.split(":")[-1].replace("ms", ""))print("time".原创 2020-10-30 15:42:44 · 140 阅读 · 0 评论 -
几个常用的python脚本
一、移动多文件夹里的文件import sysimport oslines = [line.strip() for line in open("list_1013.txt", 'r').readlines()]for line in lines: imgpath = line outpath = "newbg/"+line.split("/")[0] if not os.path.exists(outpath): os.makedirs(outpath)原创 2020-10-13 19:52:29 · 248 阅读 · 0 评论 -
说说如何写基于caffemodel的python测试脚本
很多教程对如何去测试caffemodel介绍的不够具体,其实在我看来如何去测试caffemodel其实很简单,比如下面一段代码:#!/usr/bin/env python# -*- coding: utf-8 -*-import osimport numpy as npimport argparseimport sysimport cv2caffe_root = '/home/zhao/opt/caffe/build/install'sys.path.insert(0, caffe_原创 2020-09-28 11:34:51 · 216 阅读 · 0 评论 -
pytorch转ONNX,ONNX转tensorrt
1、下载安装pytorch,collections包validation.py#!/usr/bin/env python3# -*- coding: utf-8 -*-import logginglogger = logging.getLogger(__name__)def flatten_dict(obj, out=None): assert isinstance(obj, dict), 'dict type required'原创 2020-09-10 16:54:12 · 661 阅读 · 1 评论 -
二阶段mask rcnn进行tensorrt int8量化
1、下载安装tensorflow==1.13.12、下载uff == 0.6.53、下载tensorrt==7.0.0.114、git clonehttps://github.com/matterport/Mask_RCNN.git进行maskrcnn训练5、将训练好的mask rcnn模型转换成tensorrt模型,可以下载demo模型链接: https://pan.baidu.com/s/1_hPmoE9dxV8gXZPLCACQWQ 提取码: pggr转换时第一个文件注...原创 2020-09-10 16:50:13 · 1792 阅读 · 2 评论 -
根据轮廓生成ROI图像
#!/usr/bin/env pythonfrom __future__ import print_functionimport argparseimport globimport jsonimport osimport os.path as ospimport sysimport mathimport numpy as npimport cv2import PIL.Imageimport PIL.ImageDrawimport PIL.ImageFont# impo.原创 2020-07-06 17:39:54 · 678 阅读 · 0 评论 -
caffe计算net、layer向前向后传播时间
在caffe中计算某个model的整个net以及各个layer的向前向后传播时间,可以使用下面的命令格式:./build/tools/caffe time --model=examples/mnist/mytest/execise1_train_test.prototxt -iterations 100 -gpu 0其中model指向待测model的prototxt文件,-iteratio...原创 2019-01-25 14:00:41 · 242 阅读 · 1 评论 -
使用terminator作为ubuntu下的终端,可以实现终端水平和竖直分屏的操作
sudo apt-get install terminatorcd ~/.config/terminator/ && sudo gedit config[global_config] title_transmit_bg_color = "#d30102" focus = system suppress_multiple_term_dialog = True[...转载 2019-07-09 17:40:15 · 584 阅读 · 0 评论 -
get anchor
from os import listdirfrom os.path import isfile, joinimport argparsefrom PIL import Imageimport numpy as npimport sysimport osimport shutilimport random def IOU(x,centroids): dis...原创 2019-07-09 19:23:41 · 1036 阅读 · 0 评论 -
在线查看网络结构onnx和caffe
onnx查看网址:https://lutzroeder.github.io/netron/caffe查看网址:http://ethereon.github.io/netscope/#/editor原创 2019-08-15 10:55:02 · 10046 阅读 · 0 评论 -
知乎问题:目标检测领域还有什么可以做的?
知乎问题:目标检测领域还有什么可以做的?感觉已经饱和了,很难再出顶级算法的样子。我所指的饱和是说围绕目标检测感觉没有什么好文章能发出来了,现有算法很难在短时间有突破了。想请教大家有什么好做的点子么?种树的左耳答案饱和是相对于占坑来说的,对于去探索未来踩坑来说,目标检测还远远没有达到饱和的地步。只是说想发简单的好论文越来越难了,并不是说不会有什么突破了。单就检测来说,2018年顶会出的目...转载 2019-10-09 19:27:26 · 795 阅读 · 0 评论 -
安装nvidia易错点总结
原来,更新驱动需要关闭图形桌面。赶紧查看一下,是不是真的有X:ps aux | grep X1、关闭light类型的桌面系统sudo /etc/init.d/lightdm stopsudo /etc/init.d/lightdm status2、卸载旧的驱动关键的命令:sudo apt-get purge nvidia-cuda*sudo apt-get pur...原创 2019-10-11 11:28:19 · 339 阅读 · 0 评论 -
命令行统计文件个数
ls -lR ./ | grep ".jpg" | wc -l原创 2018-08-28 16:19:48 · 710 阅读 · 0 评论 -
深度学习之几种模型的优化技术
数据增强(Data Augmentation) 人工智能,或者说计算机视觉的一个最终目标在于构建一个真正可适用于真实世界复杂环境的系统。而就目前所应用的机器学习系统而言,大部分采用了有监督的学习方法,也必然导致了需要广泛收集图像样本,并进行对应的图像标注的工作。而人力时有穷尽,高质量的样本集图片又是构建一个优秀的机器学习系统的关键因素。使用适当的数据增强方法可以将数据集的数量增大十倍以上,从而极大原创 2017-05-26 15:34:23 · 7180 阅读 · 1 评论 -
BN中use_global_stats问题
BN层中有个参数use_global_stats,它表示是否使用caffe内部的均值和方差。 训练模型的时候,将BN层use_global_stats设置为false;测试的时候设置为true,不然训练的时候会报nan或者模型不收敛。...原创 2018-12-10 19:20:18 · 1039 阅读 · 0 评论 -
点回归标注工具
############################################################################################ #!/usr/bin/python2.7 # -*- coding: utf-8 -*- #Author : zhaoqinghui #Date : 2018.02.11 ...原创 2018-12-04 19:36:54 · 563 阅读 · 0 评论 -
Tensorflow之构建自己的图片数据集TFrecords
学习谷歌的深度学习终于有点眉目了,给大家分享我的Tensorflow学习历程。 tensorflow的官方中文文档比较生涩,数据集一直采用的MNIST二进制数据集。并没有过多讲述怎么构建自己的图片数据集tfrecords。 先贴我的转化代码将图片文件夹下的图片转存tfrecords的数据集。 ##########################################原创 2016-05-11 20:23:20 · 23747 阅读 · 39 评论 -
面试常问的深度学习(DNN、CNN、RNN)的相关问题
神经网络的学习就是学习如何利用矩阵的线性变换加激活函数的非线性变换,将原始输入空间投向线性可分/稀疏的空间去分类/回归。增加节点数:增加维度,即增加线性转换能力。增加层数:增加激活函数的次数,即增加非线性转换次数。对卡在局部极小值的处理方法:1.调节步伐:调节学习速率,使每一次的更新“步伐”不同;2.优化起点:合理初始化权重(weights initialization)、预训练网络(pre-tr...转载 2018-02-27 19:34:00 · 1544 阅读 · 0 评论