工程实践
文章平均质量分 65
深度学习技术落地实践
Rocky Ding*
全网同名Rocky Ding,AIGCmagic社区创始人,自媒体WeThinkIn主理人,AIGC算法专家,持续分享AI行业前沿资讯、干货经验以及深度思考,欢迎社招/校招/实习面试咨询。
展开
-
Windows命令_将文件夹及其子文件夹中的所有图片路径输出到TXT文件中
dir /s/b *.jpg>list.txt具体参数意义如下:dir 显示目录中的文件和子目录列表/s 显示指定目录和所有子目录中的文件/b 显示文件夹或文件的名字*是通配符,可以代表任意字符串,本语境中代表所有的.jpg文件...原创 2021-05-17 16:49:59 · 1117 阅读 · 0 评论 -
工程实践_目标检测&&分类&&分割模型训练实践流程
我们在深度学习研究的过程中,需要对一个新模型做快速的搭建、配置、调试、训练、改写等步骤,最后才能评估模型的效果,是否可以用于我们的当前的研究和业务的开展。我们需要在这个过程中尽可能快的打通熟悉整个模型,让模型跑起来,为了让我们少踩坑,我们需要一个有逻辑的模型训练步骤,下面我总结了完整的步骤,供大家参考学习:数据集制作:一般我们会从数据侧拿到json格式的原生文件,我们需要对数据集进行格式转换,比如json -> VOC;VOC -> Darkent等等。我们还需要对数据进行清洗,排查脏数据原创 2021-03-15 10:47:05 · 367 阅读 · 1 评论 -
工程实践_Anaconda虚拟环境迁移以及软链接配置
由于有一些硬盘空间内存不大,且多人使用,所以要把下载在其中的Anaconda虚拟环境进行迁移,复制到内存空间大的硬盘中,并使用软链接进行映射。首先进进入自己的账户中,cd到隐藏文件.conda中。我们可以看到三个文件:environments.txtenvspkgs其中envs和pkgs是虚拟环境的主要文件,我们将其迁移到我们想要存放的硬盘中。接着输入以下命令重新配置Anaconda环境:source /home/用户名/.bashrc接下来我们就可以进行软链接配置操作了:ln -s原创 2020-12-07 18:43:57 · 2045 阅读 · 0 评论 -
工程实践_MAC版endnote文献style教程
首先我们需要下载endnote软件,可以去官网直接下载:endnote官网下载好之后,我们可以去官网下载我们需要的参考文献输出样式:我们可以下载Chinese Std GBT7714 (numeric)文献样式,这是国内论文经典的样式。下载完成后,我们打开endnote,并打开我们下载好的Chinese Std GBT7714 (numeric),并点击file->save as,然后我们不修改名称直接保存:保存好之后,我们可以在endnote中点击edit->output sty原创 2020-10-24 19:04:09 · 2958 阅读 · 2 评论 -
工程实践_Python中字典初始化时出现TypeError: unhashable type: ‘list‘错误的原因
题目中的答案应该选D。Python中字典初始化时如果里面含有列表则会出现TypeError: unhashable type: 'list’的错误。原因是列表是可变的type,而字典中的哈希类型必须是不可变得type,比如元组。所以可以将数组改成元组就没有问题了。...原创 2020-08-03 22:40:10 · 902 阅读 · 0 评论 -
工程实践_ImportError: xxx.so.1.0.0: cannot open shared object file: No such file or directory
首先我们找出xxx.so.1.0.0的位置:locate xxx.so.1.0.0然后我们将这个文件所在路径加入到环境变量:sudo vim ~/.bashrcexport LD_LIBRARY_PATH=/../../../lib:$LD_LIBRARY_PATHsource ~/.bashrc原创 2020-07-25 10:35:47 · 304 阅读 · 0 评论 -
工程实践_LFFD模型测试bug解决方案汇总
问题一Traceback (most recent call last): File "predict.py", line 265, in <module> run_prediction_pickle() File "predict.py", line 254, in run_prediction_pickle bboxes = my_predictor.predict(im, resize_scale=1, score_threshold=0.5, top_k=100原创 2020-07-15 10:57:44 · 366 阅读 · 0 评论 -
工程实践_Ubuntu安装CUDNN以及查看CUDA和CuDNN版本
查看CUDA和CuDNN版本查看CUDA版本:nvcc --version或nvcc -V也可以通过安装目录查看:cat /usr/local/cuda/version.txt查看CuDNN版本:cat /usr/local/cuda/include/cudnn.h | grep CUDNN_MAJOR -A 2原创 2020-07-03 13:44:45 · 251 阅读 · 0 评论 -
工程实践_LFFD模型训练过程疑难杂症debug
1.MxNet版本的LFFD需要安装CUDA10.1版本和CuDNN若不满足会出现如下问题:安装的CUDA版本太低或没有安装:raceback (most recent call last): File "configuration_10_320_20L_5scales_v2.py", line 17, in <module> import mxnet File "/usr/local/lib/python3.6/dist-packages/mxnet/__init__.p原创 2020-07-03 13:07:54 · 583 阅读 · 0 评论 -
工程实践_深度学习训练模型时Loss出现NAN的原因及解决办法
原因1:梯度爆炸产生原因:学习率过大。解决方法:3. 数据归一化(减均值,除方差,或者加入normalization:BN,L2 norm等)。4. 更换参数初始化方法(对于CNN,一般用xavier或者msra的初始化方法)。5. 减小学习率,减小Batch size。6. 加入梯度截断(gradient clipping)。原因2:网络结构设计问题解决方法:加如BN层进行归一化。修改网络结构(如增加网络宽度、增加网络层数)。改变层的学习率,每个层都可以设置学习率,可以尝试减小后面原创 2020-06-30 14:25:14 · 2348 阅读 · 1 评论 -
工程实践_深度学习模型后台训练不挂断命令
nohup和&组合使用nohup python file.py > filelog.txt 2>&1 &上述代码的组合使用就能够避免终端关闭、服务器断开等情况导致的模型训练终止。参数解释:filelog.txt:> 表示把标准输出(STDOUT)重定向到这个文件,这里重定向到了当前目录下的filelog.txt里,若没有此文件会自动生成。若没有特别指定,默认将当前的输出打印在当前目录的nohup.out文件里。若无2>&1则错误信原创 2020-06-26 14:34:29 · 1247 阅读 · 0 评论 -
工程实践_docker基础详解及常用命令
1.Docker简介Docker 是一个开源的应用容器引擎,基于Go语言并遵从 Apache2.0 协议开源。Docker 可以让开发者打包他们的应用以及依赖包到一个轻量级、可移植的容器中,然后发布到任何流行的 Linux 机器上,也可以实现虚拟化。容器是完全使用沙箱机制,相互之间不会有任何接口(类似 iPhone 的 app),更重要的是容器性能开销极低。Dockerde 应用场景Web应用的自动化打包和发布。自动化测试和持续集成、发布。在服务器环境中部署和调整数据库或其它的后台应用。原创 2020-06-24 23:33:57 · 280 阅读 · 0 评论 -
工程实践_docker开容器后进入虚拟环境常见问题debug
问题一:容器内使用sudo 报bash: sudo: command not found解决办法:应该是没有安装sudo的缘故,进行安装即可。apt-get updateapt-get install sudo问题二:bash: gedit: command not found解决方法:应该是没有安装gedit或者gedit损坏的缘故,进行安装即可。1.直接按装:sudo apt-get install gedit2.若是损坏,可以先卸载再安装:sudo apt-get remove原创 2020-06-22 15:53:29 · 1334 阅读 · 0 评论 -
工程实践_Ubuntu16.04中将Python3.6升级成Python3.7教程
首先安装依赖库sudo apt-get install zlib1g-dev libbz2-dev libssl-dev libncurses5-dev libsqlite3-dev libreadline-dev tk-dev libgdbm-dev libdb-dev libpcap-dev xz-utils libexpat1-dev sudo apt-get install liblzma-dev libffi-dev libc6-dev下载Python安装包方法一:(从python官网原创 2020-06-17 15:58:56 · 938 阅读 · 0 评论 -
工程实践_COCOPythonAPI安装
git clone https://github.com/pdollar/coco.git(或者去github网站上下载)cd coco/PythonAPI/# 如果使用的是 python2, 直接运行下面的命令: make -j8# 如果使用的是 python3, 需要更改 Makefile: vi Makefile# 将 Makefile 中的 python 改为 python3, 然后在运行下面的命令:make -j8...原创 2020-06-16 16:38:26 · 257 阅读 · 0 评论 -
工程实践_Ubuntu16.04使用whl文件安装PyTorch教程
首先下载PyTorch的whl文件我们可以使用清华源中的下载资源(武林秘籍:可以使用迅雷下载,速度很快!!!)清华源PyTorch库安装PyTorchpip install xxx.whlpip install torchvision验证安装结果在终端输入如下命令pythonimport torchprint(torch.__version__)即可验证PyTorch是否安装成功,还能查看Pytorch版本。...原创 2020-06-16 15:53:53 · 2789 阅读 · 0 评论 -
工程实践_Ubuntu16.04安装Anaconda3教程
1.下载Anaconda3安装包首先,下载安装包,这里推荐使用清华源下载,速度较快:清华源可以下载:Anaconda3-2019.10-Linux-x86_64.sh版本2.Anaconda3安装步骤进入安装包Anaconda3-2019.10-Linux-x86_64.sh所在目录,打开终端。执行:bash Anaconda3-2018.12-Linux-x86_64.sh然后就开始一直按回车键,按一次回车之后左下角会显示一个“–More–”,意思是许可信息还没显示完,一直按回车,直到最原创 2020-06-15 14:30:10 · 223 阅读 · 0 评论 -
工程实践_Ubuntu16.04安装Chrome浏览器
下载安装包#下载wget https://dl.google.com/linux/direct/google-chrome-stable_current_amd64.deb#安装sudo dpkg -i google-chrome-stable_current_amd64.deb如果遇到如下问题:dpkg: 依赖关系问题使得 google-chrome-stable 的配置工作不能继续: google-chrome-stable 依赖于 libnss3 (>= 2:3.22);然而:原创 2020-06-12 12:04:50 · 820 阅读 · 0 评论 -
工程实践_windows10下安装ubuntu16.04双系统教程
一.电脑类型首先我们需要先搞清楚我们的电脑类型:MBR传统bios + 单硬盘MBR传统bios + 双硬盘(SSD固态硬盘 + 机械硬盘)UEFI新式bios + 单硬盘UEFI新式bios + 双硬盘(SSD固态硬盘 + 机械硬盘)以上任意一种情况 + 电脑有特殊独立显卡(这种情况一般不考虑,只有少数电脑会遇到在Linux系统下没有显卡的驱动导致Linux装的过程中或装好后重启过...原创 2020-02-22 14:11:52 · 2619 阅读 · 0 评论 -
工程实践_MAC上删除UPEdit
打开系统偏好设置–用户与群组–登陆项–删除UPEdit。打开活动监视器–找到UPEdit进程–关掉。点击访达–找到UPEdit–删除到废纸篓。完毕!!!原创 2020-02-16 22:26:44 · 3037 阅读 · 1 评论 -
工程实践_IP地址简介及Mac和Ubuntu下命令行查看IP地址
IP地址:IP规定网络上所有的设备都必须有一个独一无二的IP地址,就好比是邮件上都必须注明收件人地址,邮递员才能将邮件送到。同理,每个IP信息包都必须包含目的设备的IP地址,信息包才可以正确地送到目的地。同一设备不可以拥有多个IP地址,所有使用IP的网络设备至少有一个唯一的IP地址。换言之,可以分配多个IP地址给同一个设备,但是同一个IP地址却不能重复分配给两个或以上的网络设备。IP地址的结构...原创 2020-01-06 13:24:05 · 525 阅读 · 0 评论 -
工程实践_Docker简介
Docker和容器技术为了这么火爆?核心原因就是“轻”。在容器技术之前,业界的网红是虚拟机。虚拟机技术的代表是VMWare和OpenStack。虚拟机就是在我们的操作系统里装一个软件,然后通过这个软件再模拟一台甚至多台“子电脑”出来。在“子电脑”里,我们可以和正常电脑一样运行程序,例如打开微信。如果我们愿意,我们可以变出好几个“子电脑”,里面都开上微信。“子电脑”和“子电脑”之间,是相互隔离...原创 2019-12-31 15:33:40 · 192 阅读 · 0 评论 -
工程实践_POC验证测试的概念
POC(Proof of Concept),即概念验证。通常是企业进行产品选型时或开展外部实施项目前,进行的一种产品或供应商能力验证工作。验证内容:产品的功能。产品功能由企业提供,企业可以根据自己的需求提供功能清单,也可以通过与多家供应商交流后,列出自己所需要的功能。产品的性能。性能指标也是由企业提供,并建议提供具体性能指标所应用的环境及硬件设备等测试环境要求。产品的API适用性。产品......原创 2019-12-22 16:19:23 · 2732 阅读 · 0 评论