Linux
文章平均质量分 89
submarineas
不积跬步,无以至千里
展开
-
openvino部署yolov5 v6过程记录
本篇主要想关于openvino针对于yolov5的一些转换流程,以及会带有查阅资料了解到的openvino的相关demo与一些需要注意到的点进行总结。关于openvino,有人说是基于CPU上最快的模型加速套件,这当然是显而易见的,因为在我印象里除了Intel本尊,没有啥企业会做这种事情了,emmm。。。openvino相较于传统的cv pipeline,它具有的优势如下:不过这对比的对象就有点老了,这里也只是说明,openvino将优化了 OpenCV 中实现的传统计算机视觉算法中的许多调用,结合自己套件原创 2022-07-11 18:38:44 · 3013 阅读 · 2 评论 -
NVIDIA Jetson测试安装yolox过程记录
此篇想总结一下关于nvidia jetson边缘盒子的一些使用过程,主要想就从连上盒子ssh环境到跑通yolox的过程进行一个记录,如果之后还有相关业务的话可以参考。本篇主要测试环境并不是在宿主机上,而是会选择nvidia针对jetson出的镜像,原因有很多,第一是环境隔离,宿主机因为并不是我一个人用,第二个是宿主机上遇到很多的bug,针对我想用的包,有太多环境需要修改,而宿主机预安装好的基于arm架构的python3里面有太多环境没有,并且大多都是依赖,比如shapely的关于地理的libgeos_c.s原创 2022-07-05 11:59:19 · 1115 阅读 · 0 评论 -
docker安装neo4j与数据导入过程记录
引言根据neo4j的官网可以看到,neo4j的下载方式有提供docker版本,事实上它的下载也很简单,只是需要针对stl的方式改变配置文件就可以了,现在我们就针对neo4j的过程进行说明neo4j安装如果在宿主机上安装,可能还需要Java环境。因为neo4j是Java所写,但如果是docker则不需要,我们可以使用search查找相关的版本:一般如果没有什么特殊要求,我们都默认使用最新版本的:docker pull neo4j(:版本号) //缺省 “:版本号” 时默认安装latest版本的原创 2022-03-17 10:10:22 · 3481 阅读 · 0 评论 -
基于arm64的atlas加速卡使用docker问题
引言本篇博客本来是没有发的必要,由于这个东西用的人应该不多,大多数还是nvidia,事实上生态圈确实如此,国内几个厂商大多都是去适配nvidia原来的生态,比如说tensorflow、pytorch等等。不过atlas好像没有这样做,就目前来讲,感觉还是有非常大的优化空间,不管从产品还是用户体验,单说体验,这东西的适配时间抵得上我适配其它的几倍有余,就也不是难,官网资料有些乱,能帮助的也很少,基本上像在做一个全新的未知领域一样,只有不断把时间浪费进去才有戏,过程中遇到过非常多荆棘,我前面有几篇博客是把比较原创 2022-03-13 19:07:45 · 1973 阅读 · 0 评论 -
ansible自动化基础学习笔记
引言本节主要讲解的是 Ansible 工具,虽然 Chef、Puppet、SaltStack and Fabric(后面章节会讲) 等等这些都是比较流行的自动化运维管理工具,但是相较于 Ansible 来说要复杂得多,不过每个工具也是各有各的好处,这里我们就先来学习这个比较简单的一款自动化运维工具—— Ansible。Ansible 是一款基于 python 开发,能够实现了批量系统配置、程序部署、运行命令等功能的自动化运维工具。Ansible 主要是基于模块进行工作的,本身没有批量部署的能力,真正实现原创 2022-03-12 12:19:17 · 2433 阅读 · 0 评论 -
python-opencv学习笔记(七):滑动窗口与图像金字塔
引言本节内容是我在实验楼所做实验,结合opencv官方对于这两种方法的例子与说明,想总结一些关于自己的笔记,也算是更系统的学习了yolo的运行方式。滑动窗口滑动窗口(Sliding Windows)在目标检测过程中的作用是定位目标(物体、动物等)在图片中的位置。在计算机视觉中滑动窗口是一个矩形框,它沿着从左向右、从上向下的方向在图片上滑动以达到提取出图片中每一个区域的目的。下图就是一个滑动窗口的例子,可以看到一个绿色矩形框沿着从左向右、从上向下的方向在图片上滑动。对于矩形框滑过的每一区域,我们使用分类原创 2022-03-08 19:14:46 · 10647 阅读 · 6 评论 -
deepin系统下python的编译安装以及库加载问题总结
引言本篇想总结的是最近两天我遇到过的在deepin系统下的一些问题,主要是一些bug以及python编译安装的东西,以防下次还遇到,如果可能(最好不要)。apt-get无法更新问题当我刚进入系统后,遇到了如下错误:Couldn’t create temporary file /tmp/apt.conf.g1YDx9解决方案,tmp没有权限:chmod 777 /tmp我也不知道为什么会遇到这个错误,但是就是那么巧合,所以在这里记录一下。deepin无法安装docker问题我不知道是不是原创 2022-01-22 17:03:19 · 1941 阅读 · 0 评论 -
minio技术选型与部署测试
引言MinIO号称是目前速度最快的对象存储服务器。在标准硬件上,对象存储的读/写速度最高可以高达183 GB/s和171 GB/s。对象存储可以作为主存储层,用来处理Spark、Presto、TensorFlow、H2O.ai等各种复杂工作负载以及成为Hadoop HDFS的替代品。即为机器学习、分析和应用程序数据工作负载构建高性能基础架构。技术选型(为什么选择minio)本节想探讨的是我为什么会选择minio,或者往更大一点的方向上讲,为什么要使用对象存储,根据我查到的资料以及个人理解,下面做一原创 2022-01-17 00:35:02 · 5868 阅读 · 0 评论 -
linux下openssl、cmake与boost的更新总结
引言OpenSSL是一个功能齐全的软件库,其中包含传输层安全( TLS ) 和安全套接字层( SSL ) 协议的开源实现,用于保护通过计算机网络传输的信息。而CMake是一个跨平台的编译(Build)工具,可以用简单的语句来描述所有平台的编译过程。如果需要安装新版本的cmake在3.16以上的话,一般要对openssl进行升级,静态编译OpenSSL并作为CMake第三方库,如果有遇到如下错误:collect2: error: ld returned 1 exit statusld returned原创 2022-01-08 17:04:12 · 3305 阅读 · 0 评论 -
Linux根据关键字过滤日志记录命令总结
引言Linux日志中存储了大量信息,但是在于如何快速提取信息。可以使用许多工具来执行此操作,从命令行工具到更多工具先进的分析工具能够搜索特定字段,计算汇总,生成图表等。本篇主要想集中于awk、grep、sed三种查询方式进行总结。...原创 2021-02-11 22:55:55 · 6313 阅读 · 1 评论 -
harbor学习笔记(一):环境部署与镜像上传
引言https://blog.csdn.net/qq_24095941/article/details/86063684https://blog.csdn.net/qq_40378034/article/details/90752212https://blog.51cto.com/11093860/2119494原创 2021-01-21 00:17:02 · 1273 阅读 · 0 评论 -
服务器通过python下载jupyter实现可视化笔记
引言我使用的环境并非单纯服务器,而是在服务器开了一个docker,映射了8848端口,写本篇的目的是因为docker上cannot connect to X server,而宿主机也没有装,所以想通过jupyter进行可视化,下面就来总结一下搭建过程。安装jupyter notebook在已安装python的情况下,直接通过pip进行安装,这里没有使用conda的原因是docker已经进行环境隔离了,但首先还是得对环境变量进行设置:alias python2=/usr/bin/pythonalia原创 2020-10-13 18:41:03 · 403 阅读 · 0 评论 -
centos下caffe用GPU编译搭建过程以及错误总结
引言原创 2020-10-12 23:58:50 · 810 阅读 · 1 评论 -
libboost_python3.6编译过程记录
引言在进行caffe编译的时候遇到一个问题,就是在编译出了caffe.so文件后,导入会由于版本问题出错 importerror,具体为:>>> import caffeTraceback (most recent call last): File "<stdin>", line 1, in <module> File "/home/jcole/Git/caffe/python/caffe/__init__.py", line 1, in <mo原创 2020-10-11 23:17:28 · 1224 阅读 · 1 评论 -
docker学习笔记(10):docker迁移与升级等其它操作
引言上一篇讲解了nvidia-docker中关于nvidia-docker的部署以及一些我遇到的相应错误总结,但最后并没有演示容器开启后的应用与步骤,因为其实我自己也有点不清楚到底做的是个什么东西,但所幸看起来是成功了。nvidia-docker部署在默认已经部署成功的时候,我们可以通过下面几条命令看当前nvidia-docker状态是否开启成功:// An highlighted blockvar foo = 'bar';...原创 2020-09-12 14:48:39 · 1110 阅读 · 0 评论 -
docker学习笔记(9):nvidia-docker安装、部署与使用
引言NVIDIA深度学习GPU训练系统(又名DIGITS)是用于训练深度学习模型的Web应用程序。它将深度学习的力量交到了工程师和数据科学家手中。它可用于快速训练用于图像分类,分割和目标检测任务的高精度深度神经网络(DNN)。当前受支持的框架为:Caffe,Torch和Tensorflow。nvidia-docker部署使用前置环境首先是需要cuda以及cuda对应的gcc、g+等依赖,目前19年的gcc为8.3.1,cuda是向上兼容,所以如果显卡驱动只需要最低版本高于上表cuda接受的最低版本原创 2020-09-08 23:41:09 · 56684 阅读 · 18 评论 -
influxdb学习笔记(一):搭建与使用
引言原创 2020-08-29 15:43:42 · 2052 阅读 · 0 评论 -
docker学习笔记(8):容器镜像导入导出与启动操作
容器导入与导出首先看一下有哪些正在运行或者被stop的容器:docker psdocker ps -a然后选择需要导出的容器,命令格式为:docker export [options] container比如说要导出上面的第一个容器:docker export 921e3de63cd4 > update.tar然后就会看见在当前目录下生成了update.tar文件,这里需要注意写入的必须是存在的容器名,不然会报错 Error response from daemon: No su原创 2020-08-27 11:39:07 · 3347 阅读 · 3 评论 -
ubuntu18.04下opencv用CPU编译全过程
引言本篇主要想总结一下依赖项安装首先我们需要CMake来配置安装,GCC进行编译,Python-devel和Numpy来构建Python绑定等。sudo apt-get install cmakesudo apt-get install gcc g++一般云服务器是没有cmake的,而本地服务器的cmake也可能会版本比较低,如果需要编译opencv4以上的版本,需要将cmake卸载,通过GitHub中的最新版源码安装,因为当前没有官方源更新到相应的版本。GTK支持(图形界面库)# 安装原创 2020-08-25 16:38:58 · 1622 阅读 · 0 评论 -
deepdive安装笔记全纪录
引言DeepDive是一种新型的数据管理系统,可让它在单个系统中解决提取,集成和预测问题,从而使用户能够快速构建复杂的端到端数据管道,例如暗数据BI(商业智能)系统。通过允许用户端到端构建系统,DeepDive允许用户将精力集中在系统中最直接改善应用程序质量的部分。相比之下,以前的基于管道的系统要求开发人员构建提取器,集成代码和其他组件,而对它们的更改如何提高其数据产品的质量没有清晰的想法。这种简单的见解是DeepDive系统如何在更短的时间内生成高质量数据的关键。基于DeepDive的系统被没有机器学原创 2020-08-08 21:49:07 · 807 阅读 · 3 评论 -
supervisor 安装配置与使用总结
[program:shijian]#脚本目录environment=FFMPEGPATH="/usr/local/ffmpeg/bin"environment=PATH="/root/anaconda3/envs/py36_kt/bin"directory=/home/runone/program/new_videoana#脚本执行命令command=python /home/runone/program/new_videoana/detect_q.py#supervisor启动的时候是否原创 2020-07-30 00:07:02 · 1632 阅读 · 0 评论 -
VideoProcessingFramework框架编译启动全过程
引言VPF代表视频处理框架。它是一组C ++库和Python绑定,可为视频处理任务提供完整的硬件加速,例如解码,编码,转码以及GPU加速的色彩空间和像素格式转换。VPF还支持将诸如解码视频帧之类的GPU内存对象导出到PyTorch张量,而无需“主机到设备”副本。这是VPF的简介,可以看出,它是python中能进行硬解码的模块,相比于opencv来讲,它可以将解码的步骤全部交给GPU继而能让CPU更加的高效。但目前因为比较新不够成熟,所以有些函数依然会有很多的bug,下面介绍搭建过程和测试demo:原创 2020-07-09 22:31:40 · 3939 阅读 · 24 评论 -
ffmpeg利用NVIDIA硬件加速编译
引言前面有水另外两篇不同的ffmpeg编译的博文,主要是针对不同的命令与相关的调用形式,如果只是在shell命令下直推视频,普通编译加搭建srs3就好了,而如果是需要配合python或者其它编程语言,这时候还要加上libx264、yasm等进行兼容,提高效率,前面两篇链接如下:ffmpeg源码带libx264安装并用ffplay推流测试ffmpeg与srs3编译以及常用命令测试总结NVIDIA驱动检查这里需要检查的东西是cuda和cudnn是否已经安装成功并适配显卡驱动,具体的安装我在之前的文章有原创 2020-06-30 15:14:02 · 3658 阅读 · 2 评论 -
ffmpeg源码带libx264安装并用ffplay推流测试
源码地址libx264 http://download.videolan.org/x264/snapshots/ 最新版yasm http://yasm.tortall.net/Download.html 版本为yasm-1.3.0(yasm是汇编编译器,因为ffmpeg中为了提高效率用到了汇编指令)ffmpeg http://www.ffmpeg.org/download.html 版本为ffmpge-4.2.3安装过程关于yasm和ffmpeg常规安装方式,可以看我上一篇,链接为:ffmpe原创 2020-06-14 16:11:53 · 1494 阅读 · 1 评论 -
ffmpeg与srs3编译以及常用命令测试总结
引言yasm安装首先我们先安装yasm,yasm是一个完全重写的NASM汇编。目前,它支持x86和AMD64指令集,接受NASM和气体汇编语法,产出二进制, ELF32 , ELF64 , COFF , Mach - O的( 32和64 ) , RDOFF2 ,的Win32和Win64对象的格式,并生成STABS 调试信息的来源,DWARF 2 ,CodeView 8格式。之所以在FFmpeg中用这个,主要是支持编译ffmpeg-x264。(来源于百度百科)具体的安装命令为:wget http://原创 2020-06-06 23:31:00 · 1242 阅读 · 0 评论 -
Linux管理开放端口与防火墙笔记总结
引言在工作中,如果不是用的云服务器,没有用户安全组规则的设置与修改,直接在Linux宿主机上操作,其实也算简单,但需要注意到的点就可能比较多,另外检测也都有相应的方法,所以想总结一下之前有遇到过的问题。防火墙与开放端口首先防火墙分为包过滤防火墙(pack filtering)和代理服务器型防火墙,而端口号标识了一个主机上进行通信的不同的应用程序,一个计算机最多有65535个端口,端口不能重复。当我们拿到一台服务器的时候,我们可以查看当前服务器的监听服务有多少:netstat -ntlp上面是我原创 2020-06-04 23:44:02 · 2034 阅读 · 0 评论 -
docker学习笔记(6):docker-compose介绍安装与实践
引言在上一篇docker笔记中,我构建了一个简单的dockerfile对本地化的项目进行了镜像化,以及启动,但我们能发现,这样的启动方式似乎就仅仅只是单独flask项目的运行成功,那如果还有数据库mysql、redis、mongodb等本地化服务,怎么加入进行并指定相应路径,这就是本篇需要探讨的docker-compose。docker-compose安装docker-compose的安装可...原创 2019-11-22 20:26:02 · 468 阅读 · 0 评论 -
Linux安装MongoDB以及部署测试
引言之前在Linux上安装MongoDB遇到了很多的坑,导致拉长了很大的时间周期,现在准备记录一下整个流程的笔记以及一些安装过程中遇到的坑MongoDB的安装在Linux中,安装MongoDB远比Windows上安装快很多,Windows版本的安装普遍因为系统问题会出现bug,而如果安装成功,后面的步骤我感觉会比linux轻松很多。那么linux总结的安装过程如下:# 1. 安装3.0.1...原创 2019-06-13 20:33:40 · 1382 阅读 · 0 评论 -
Windows和Linux端口服务占用问题总结
引言今天遇到一个问题,当我在启动flask命令的时候出现了端口被占用的错误,联想到以前也有遇到过这种情况,所以我现在想总结一下之前一直都忽略的问题。OSError: [WinError 10013] 以一种访问权限不允许的方式做了一个访问套接字的尝试。这是今天我在运行项目的同时遇到的一个情况,另外我也很久没有见过控制台给我报中文错误了,除了我自己定义的异常错误类。...原创 2019-05-29 11:48:55 · 260 阅读 · 0 评论 -
SecureCRT与MobaXterm对文件备份上传的步骤和区别
引言最近一直是在用SecureCRT和MobaXterm对服务器进行维护,前者是因为工作需要,后者是个人喜好。我记得在去年我写过一篇用MobaXterm对阿里云服务器进行相关的部署,那篇博文里也谈及了我从xshell和mobaxterm中最终选择了后者,其实直到目前,我依然喜欢用MobaXterm,因为简单高效。本篇博文将列举我今天做的一个功能,对代码进行备份并上传到服务器,也可以说成是上传文件...原创 2019-05-28 17:55:32 · 10330 阅读 · 0 评论 -
windows下使用FFMpeg转码视频并于VLC网络流上播放
引言FFmpeg是一个开源免费跨平台的视频和音频流方案,它包含了非常先进的音频/视频编解码库libavcodec,为了保证高可移植性和编解码质量,libavcodec里很多codec都是从头开发的。FFmpeg在Linux平台下开发,但它同样也可以在其它操作系统环境中编译运行。M3U8视频格式也是一种M3U,只是它的编码格式是UTF-8格式。M3U用Latin-1字符集编码。M3U8格式特点是...原创 2019-04-01 17:02:37 · 2265 阅读 · 0 评论 -
Ubuntu 16.04 安装 Apache, Mysql, PHP7, phpMyAdmin过程解析和错误总结
完整的实现lamp安装的教程与一些问题解决方案。原创 2019-01-20 00:15:33 · 1289 阅读 · 0 评论 -
docker学习笔记(2):docker镜像
引言上篇对docker做了一个比较笼统的介绍与安装,本篇就针对docker中的镜像进行一个比较完整的命令说明。docker镜像介绍docker 镜像代表了容器的文件系统里的内容,是容器的基础,镜像一般是通过 Dockerfile 生成的docker 的镜像是分层的,所有的镜像(除了基础镜像)都是在之前镜像的基础上加上自己这层的内容生成的每一层镜像的元数据都是存在 json 文件中的,...原创 2019-06-20 21:06:16 · 398 阅读 · 0 评论 -
docker使用笔记(1):docker介绍与安装
引言Docker 是一个开源的应用容器引擎,基于 Go 语言 并遵从Apache2.0协议开源。Docker 可以让开发者打包他们的应用以及依赖包到一个轻量级、可移植的容器中,然后发布到任何流行的 Linux 机器上,也可以实现虚拟化。和其它软件一样,docker也分为企业版和社区版,一般管理一些小应用,比如说我要将我的项目制成镜像,一般用社区版就行了。docker介绍docker是有三部...原创 2019-06-17 20:50:04 · 4392 阅读 · 0 评论 -
docker学习笔记(3):Dockerfile详解
引言Dockerfile 是软件的原材料,Docker 镜像是软件的交付品,而 Docker 容器则可以认为是软件的运行态。从应用软件的角度来看,Dockerfile、Docker 镜像与 Docker 容器分别代表软件的三个不同阶段,Dockerfile 面向开发,Docker 镜像成为交付标准,Docker 容器则涉及部署与运维,三者缺一不可,合力充当 Docker 体系的基石。Doc...原创 2019-06-21 22:11:22 · 1006 阅读 · 0 评论 -
vim思维导图与操作总结
引言原创 2019-07-23 16:02:43 · 900 阅读 · 0 评论 -
VMware安装centos7虚拟机及后续配置总结笔记
引言这几天从想搭建一个容器集群开始,然后去官网下载了centos7,到克隆好了镜像,却突然发现连不上网,ping不通百度,然后就陷入了漫长的解决虚拟机联网问题,然后又重新部署一些相关的东西,中间花费了很多时间,另外也吸取了很多的经验,虽然到最后还是没解决主要问题,我最后是切换了模式,但知道了很多东西,所以想在这里记录一下。VMware介绍与安装VMware介绍VMware的安装就不做过多介...原创 2019-08-05 21:40:33 · 1417 阅读 · 0 评论 -
docker学习笔记(4):制作mysql镜像与后续相关维护总结
引言本篇准备从做mysql镜像到启动与外部连接成功,然后后期一系列的维护措施的顺序来大致介绍一下,也是对我前三篇内容的一个总结吧。docker中拉取或制作mysql镜像一般关于mysql、Mariadb、redis、mongodb等常用数据库的镜像一般都是直接pull,因为dockerbub上维护的版本已经足够稳定以及安全,当然,如果想自己本地手动做的话,可以点进它下面的链接里面查看dock...原创 2019-08-23 17:05:57 · 506 阅读 · 0 评论 -
Centos7下yum与python卸载及重装总结
阿里云默认python和yum的卸载原创 2019-08-28 17:35:50 · 12683 阅读 · 1 评论 -
docker学习笔记(5):docker搭建DNMP环境
引言我记得也有一年了,在想写这篇文章的时候,记起来去年写过一篇Ubuntu下搭建LAMP环境(linux + Apache + MySQL + PHP),那个时候介绍完后本来想写之后博客的搭建与管理,但由于很多事情绊着了,伴随两个月前服务器换了一个镜像源,然后所有东西清空,我的将近四个月的博客宣布下架,然后前几天又玩了下docker,试了下docker。DNMP介绍生成mysql容器关于m...原创 2019-09-01 11:55:27 · 895 阅读 · 0 评论