环境配置
yuanlulu
做过嵌入式Linux开发、深度学习平台开发。擅长c++和python。
展开
-
对象存储数据库minio的持久化存储
启动容器目录映射了一个目录到docker内的/bitnami/minio/data。这个目录存储持久化数据到磁盘,重启容器也不担心丢失。但如果使用的是minio/minio镜像,则需将映射目录映射到docker的/data目录。我这里拉取的是bitnami/minio,它比官方的minio/minio更强大。原创 2024-09-03 20:50:57 · 329 阅读 · 0 评论 -
解决llama-factory运行中的No module named ‘_bz2‘和No module named ‘_lzma‘
在llama-factory执行lora微调时,按照手册安装了依赖,微调还是遇到错误。可以看到我出错的代码位于/usr/local/python3.10.2。这个库是有的,但是位置是/usr/lib/python3.10/我是在华为昇腾训练服务器的docker内遇到的。,我用类似的方法一并解决了。原创 2024-06-27 11:06:19 · 482 阅读 · 0 评论 -
delvewheel进行repair时报Unable to find library: msvcr100.dll【已解决】
我系统是64位的windows,我系统上在C:\Windows\SysWOW64这个目录下是存在msvcr100.dll这个文件的,但是它是32位的,delvewheel 把它忽略了。如果whl是64位CPU,则要求dll也要是64位的。可以看到,这里的类型判断和上面截图里二进制内容是对应的,PE后面跟着0x8664就是64位,跟着0x14c就是32位。网上各种修复方法,试了都不靠谱,还是下载了delvewheel源码一点点加打印分析,发现是dll和whl的CPU位宽类型不一样导致的。原创 2024-01-05 10:56:32 · 988 阅读 · 0 评论 -
Windows系统下使用docker
缘起我本来打算自学下redis的基本操作,所以总要有个redis的环境吧。之前我在自己笔记本上启用了WLS功能,安装了一个Ubuntu的镜像。本来打算在Windows下的ubuntu里安装docker环境,奈何安装了半天,比着网上的操作都做了,安装过程也没问题,docker服务启动不正常,docker ps命令都用不了。所以我走了另一条路,那就是安装windows下的Docker Desktop的这款软件,它的原理据说也是起了一个linux系统,这条路走通了。下载和安装去这里下载桌面版docker管理原创 2021-06-03 22:28:18 · 2584 阅读 · 0 评论 -
docker常用命令
概述在我的深度学习开发相关工作中,使用docker非常多。有cpu版本的docker也有GPU版本的docker。我可以把很多依赖的软件打包到docker里交给现场运行,这样现场就免去了繁杂的环境配置过程。在此记录一下常用的docker命令。搜索和下载镜像去年阿里有一个可以搜索docker镜像的网站,今年则访问不了了。所以现在只能在https://hub.docker.com查询相关镜像。...原创 2019-06-11 19:52:10 · 473 阅读 · 0 评论 -
rk3399上opencv使用gstreamer访问mipi摄像头
环境硬件:友善之臂NanoPC T4rk3399:Big.Little 架构:双核Cortex-A72 + 四核 Cortex-A53 架构,64位CPU主频超过1.8GHz软件:rk3399-eflasher-friendlydesktop-bionic-4.4-arm64-20181219.img这是友善之臂定制的一个基于ubuntu18.04的64位操作系统。探索思路自己...原创 2019-03-30 19:35:46 · 11704 阅读 · 9 评论 -
ubuntu:查看系统版本信息
# cat /proc/versionLinux version 3.13.0-129-generic (buildd@lgw01-05) (gcc version 4.8.4 (Ubuntu 4.8.4-2ubuntu1~14.04.3) ) #178-Ubuntu SMP Fri Aug 11 12:48:20 UTC 2017# uname -aLinux amax 3.13.0-...原创 2019-03-26 14:05:10 · 1397 阅读 · 0 评论 -
rk3399+ubuntu:基于深度学习框架ncnn对比clang和gcc性能
编译方式修改toolchains/aarch64-linux-gnu.toolchain.cmake,内容如下:# set cross-compiled system type, it's better not use the type which cmake cannot recognized.SET ( CMAKE_SYSTEM_NAME Linux )SET ( CMAKE_SYST...原创 2019-02-26 22:09:05 · 5351 阅读 · 8 评论 -
rk3399环境配置:安装opencv、dlib和tensorflow,并测试ncnn性能
概述最近入手了NanoPC-T4开发板,上面用的是rk3399这款芯片。安装系统:rk3399-eflasher-friendlydesktop-bionic-4.4-arm64-20181219。这是一个ubuntu18.04为基础的Linux系统。安装过程下面的操作都是在root用户下完成的。更新源到/etc/apt/sources.list.替换url为http://mirror...原创 2019-02-24 12:57:03 · 8365 阅读 · 9 评论 -
树莓派上为python装tensorflow和opencv
环境树莓派3B+, python3.5,官方系统准备sudo apt updatesudo apt install python3-dev python3-pipsudo apt install libatlas-base-dev # required for numpy安装opencvpip3 install opencv-python==3.3.0.10# t...原创 2019-01-04 19:19:44 · 2762 阅读 · 4 评论 -
ARM64+ubuntu18.04深度学习环境安装小结
概述本人断断续续花费了两周时间,在某国产ARM64+linux环境的服务器上,使用docker容器安装成功了公司深度学习项目所需的环境。中间过程坎坷,在此结文以记,希望能对他人有所帮助,少踩坑。目前成功搭建的环境如下:aarch64 docker容器,ubuntu18.04, python2, opencv3.3, dlib19.15, tensorflow1.5, sklearn。上...原创 2018-08-12 15:59:53 · 14476 阅读 · 1 评论 -
在树莓派上安装tensorflow最新版本
昨天刚看了一篇文章,《树莓派+Movidius NCS神经计算棒》,作者认可了树莓派加Movidius NCS神经计算棒的组合效果,但同时也指出这种组合的缺点在于性能略低,且树莓派版本的ubuntu没法安装最新版本的tensorflow(作者只看到支持tf1.1)。对于树莓派性能低没什么可说的,毕竟硬件参数在那,可是经过搜索,树莓派上安装高版本的tensorflow已经不再是问题。首先,维护树...原创 2018-05-23 13:48:35 · 6326 阅读 · 1 评论 -
ubuntu1604安装python3、opencv及dlib
更新源目录: apt-get update卸载老的python2.7: apt-get remove python apt autoremove安装python3 apt-get install python3安装pip apt-get install python3-pip (注意,apt-get install python-pip会把python2.7及对应的pip安...原创 2018-05-07 20:48:31 · 2131 阅读 · 0 评论 -
REHL7环境下cuda8和cudnn6离线安装
禁止Nouveau 参考:https://www.cnblogs.com/alliance/p/7905657.html 如果lsmod | grep nouveau命令有任何输出,则需要禁用nouveau。方法见下面。 新建一个名字为blacklist-nouveau.conf的文件,复制到这个目录/etc/modprobe.d。 文件内容如下: blacklist nouvea...原创 2018-03-07 17:30:11 · 815 阅读 · 0 评论 -
REHL7环境nvidia-docker离线安装
离线安装流程(以下操作均在root用户下操作的) 0.下载docker 下载地址:https://pan.baidu.com/s/1XHlctTjZQbzXB8xweWQNOg 有两个文件: docker_rpm_1.12.zip nvidia-docker-1.0.1-1.x86_64.rpm 1.将rpm包放在目录下,创建本地yum源: #解压docker_rpm_1....原创 2018-03-07 17:34:31 · 3326 阅读 · 0 评论 -
python中import cv2遇到的错误及安装方法
从x86_64 + ubuntu14.04 + python3.5中import cv2(opencv3.3), 遇到以下错误:ImportError: libSM.so.6: cannot open shared object file: No such file or directoryImportError: libXrender.so.1: cannot open shared ob原创 2018-01-09 20:36:07 · 54577 阅读 · 11 评论 -
docker下载问题:gcr.io网站被墙怎么办
在国内下载各种软件慢可以借助镜像,比如清华镜像或者阿里镜像。清华的镜像anaconda:https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/使用阿里云镜像下载tensorflow:pip3 install -i http://mirrors.aliyun.com/pypi/simple/ tensorflow-gpu --trus原创 2017-11-04 09:32:15 · 21035 阅读 · 2 评论 -
cmake安装dlib遇到的错误
我的环境,ubuntu14.04+python3.5 安装dlib python版本报错。错误提示:Boost python library not found.解决办法从https://dl.bintray.com/boostorg/release/下载一份源码,解压后在源码目录运行以下三个命令:./bootstrap.sh --with-libraries=原创 2018-01-09 20:05:46 · 11205 阅读 · 1 评论 -
unbuntu下的tensorflow docker转移到REHL7.X下遇到的问题总结
红帽系统中运行docker run遇到的nvidia-docker-plugin相关的错误:在ubuntu x86_64下做好的docker镜像,使用docker save保存为tar文件,复制文件到另一台红帽REHL7.X x86_64设备上,运行docker run遇到以下错误:nvidia-docker-plugin | 2018/01/12 00:56:15 Received cr原创 2018-01-11 21:08:50 · 762 阅读 · 0 评论