服务器环境配置

最新推荐文章于 2024-07-25 10:59:02 发布
最新推荐文章于 2024-07-25 10:59:02 发布
阅读量869 收藏 2
点赞数 1
分类专栏： 服务器环境配置 文章标签： 深度学习 tensorflow pytorch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_37993445/article/details/112233537
版权

服务器环境配置

目录

系统环境配置... 3

显卡驱动安装... 3

cuda配置... 5

安装cuda. 5

cuda多版本切换... 6

cudnn配置... 7

安装cudnn. 7

cuda、cudnn相关命令... 7

Anaconda配置... 8

安装anaconda. 8

conda相关命令... 9

深度学习框架安装... 10

conda安装pytorch. 10

安装caffe. 11

安装opencv. 11

安装caffe. 12

编译caffe的python接口... 13

其他tips. 14

配置pycharm桌面图标... 14

文件传输... 15

 

 

 

系统环境配置

显卡驱动安装

在不打开vnc桌面环境下（只开putty连接）安装比较简单，不用重启

禁止nouveau（禁止后NVIDIA才能正常安装）

  1.  

sudo gedit /etc/modprobe.d/blacklist-nouveau.conf

  1. 打开后发现该文件中没有任何内容，写入：
blacklist nouveau option nouveau modeset=0
  1. 保存后关闭文件，执行命令使生效：
sudo update-initramfs –u

 

接下来安装显卡驱动，以下步骤也适合服务器驱动莫名掉的情况

  1. 卸载原来的驱动程序：
sudo apt-get --purge remove nvidia*
  1. 更新：
sudo add-apt-repository ppa:graphics-drivers/ppa      #需要输入密码并按enter键确认,之后刷新软件库并安装最新驱动
sudo apt-get update
  1. 查看显卡适合的驱动程序版本，选择其中一个型号，可先看下边cuda版本对应的显卡驱动版本，按照需要的cuda版本选择显卡驱动型号：
ubuntu-drivers devices
  1. 安装驱动
sudo apt-get install nvidia-384 nvidia-settings nvidia-prime # 384即为驱动型号版本
  1. 测试是否安装成功：
nvidia-smi

 

 

 

cuda配置

安装cuda

https://i-blog.csdnimg.cn/blog_migrate/12afbc3abe9ff476d1026759261f1688.png

cuda对应显卡驱动版本

进入 https://developer.nvidia.com/cuda-downloads，下载cuda安装文件

 

此时下载的 CUDA中包含有 nvidia 显卡驱动，在安装过程中选择不再安装 nvidia 显卡驱动

  1. 执行安装命令（不使用vnc桌面环境安装）：
sudo sh cuda_8.0.61_375.26_linux.run --no-opengl-libs  #替换为相应的文件名

执行此命令约1分钟后会出现 0%信息，此时长按回车键让此百分比增长，直到100%，然后按照提示操作即可。一定注意是否安装显卡驱动时选择n，其余正常情况选y

  1. 建立软链接：
sudo ln -s /usr/local/cuda-8.0/ /usr/local/cuda/
  1. 修改配置文件：
sudo gedit ~/.bashrc
  1. 添加下边两行：
export PATH=/usr/local/cuda/bin:$PATH
export LD_LIBRARY_PATH=/usr/local/cuda/lib64:$LD_LIBRARY_PATH
  1. 使配置生效：
source ~/.bashrc
  1. 查看是否安装成功（出现pass就成功了）
cd /usr/local/cuda-8.0/samples/1_Utilities/deviceQuery
sudo make
./deviceQuery
  1. 查看cuda版本：
nvcc -V

 

cuda多版本切换

同时安装了cuda9和cuda8等，将上步的cuda8切换到cuda9

sudo rm -rf /usr/local/cuda    #删除cuda8的软链接
sudo ln -s /usr/local/cuda-9.0/ /usr/local/cuda/
nvcc -V

 

 

cudnn配置

安装cudnn

官网下载cuda对应版本：https://developer.nvidia.com/rdp/cudnn-archive

  1. 下载解压得到cudnn的文件夹（名为cuda）：
tar -xzvf cudnn-8.0-linux-x64-v6.tgz
  1. 复制cudnn文件到cuda里：
sudo cp cuda/lib64/* /usr/local/cuda/lib64/
sudo cp cuda/include/* /usr/local/cuda/include/
  1. 此时虽然装好了但之后配置caffe tf等还是可能会报错找不到cudnn，保险起见：
cd /usr/local/cuda/lib64/sudo rm -rf libcudnn.so libcudnn.so.6 #删除原有动态文件
sudo ln -s libcudnn.so.6.0.21 libcudnn.so.6 #生成软衔接，注意文件里具体的版本
sudo ln -s libcudnn.so.6 libcudnn.so #生成软链接

 

 

cuda、cudnn相关命令

nvidia-smi                              #查看显卡驱动版本及使用情况
nvcc –V          #或者nvcc –version    #查看cuda版本
which nvcc                              #查看cuda位置
cat /usr/local/cuda/include/cudnn.h | grep CUDNN_MAJOR -A 2   
#查看cudnn版本

 

 

Anaconda配置

安装anaconda

安装caffe、tensorflow、pytorch等深度学习框架都使用anaconda安装，可以安装不同版本，相互之间不影响

 

  1. 下载anaconda安装文件，以安装3.5版本为例：
wget https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/Anaconda3-5.0.0-Linux-x86_64.sh 

其他版本可以到https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/自行查找，使用清华源较快

sudo bash Anaconda3-5.0.0-Linux-x86_64.sh

按回车确定安装位置等信息

  1. 添加国内源（例子是中科大源，可添加其他的）：
conda config --add channels https://mirrors.ustc.edu.cn/anaconda/pkgs/main/
conda config --add channels https://mirrors.ustc.edu.cn/anaconda/pkgs/free/
conda config --add channels https://mirrors.ustc.edu.cn/anaconda/cloud/conda-forge/
conda config --add channels https://mirrors.ustc.edu.cn/anaconda/cloud/msys2/
conda config --add channels https://mirrors.ustc.edu.cn/anaconda/cloud/bioconda/
conda config --add channels https://mirrors.ustc.edu.cn/anaconda/cloud/menpo/
conda config --set show_channel_urls yes

 

 

conda相关命令

conda update -n base conda           #update最新版本的conda
conda create -n xxxx python=3.7      #创建python3.5名为xxxx的虚拟环境
conda activate xxxx                   #开启xxxx环境
conda deactivate                      #关闭环境
conda env list                        #显示所有的虚拟环境
conda info --envs                     #显示所有的虚拟环境
conda remove –n xxxx --all           #删除某虚拟环境
conda remove --name huanjing_name bao_name        #删除环境中某个包

 

 

 

深度学习框架安装

conda安装pytorch

  1. 创建名为pytorch-0.1，python版本为3.6的虚拟环境
conda create –n pytorch-1.0.1 python=3.6
  1. 进入相应的虚拟环境中
conda activate pytorch-1.0.1 
  1. 要安装较老的固定版本的话，最好先在虚拟环境中安装系统cuda版本对应的cuda toolkit，系统cuda——conda安装的cudatoolkit——pytorch版本 一定要对应：
conda install cudatoolkit==8.0
  1. 安装固定版本pytorch：
conda install pytorch=1.0.1 torchvision=0.2.1

网上教程会在后边加上-c pytorch，这是从官方源下载很慢，去掉的话从国内源下载

 

 

 

 

安装caffe

未使用conda安装过，直接安装方法如下，修改的相关配置文件可参考/home/user/caffe/：

安装opencv

  1. 安装依赖：
sudo apt-get update
sudo apt-get install libopencv-dev build-essential checkinstall cmake pkg-config                         #还有其他挺多的…具体可以看安装中提示

安装ffmpeg

sudo add-apt-repository ppa:jon-severinsson/ffmpeg
sudo apt-get update
sudo apt-get install ffmpeg
sudo apt-get install frei0r-plugins
  1. 进入官网 : http://opencv.org/releases.html, 下载3.4.0版本
  2. 进行编译安装：
cd opencv-3.4.0/
mkdir release
cd release
cmake -D CMAKE_BUILD_TYPE=RELEASE –D CMAKE_INSTALL_PREFIX=/usr/local ..
make –j8
sudo make install
  1. 查看是否安装成功：
pkg-config --modversion opencv

 

安装caffe

  1. 下载caffe官方版本：
git clone https://github.com/BVLC/caffe.git
  1. 进入caffe文件夹，复制makefile.config.example文件，名为makefile.config:
cp Makefile.config.example Makefile.config
  1. 修改makefile.config文件：
将 #USE_CUDNN := 1 修改成： 
USE_CUDNN := 1
 
将 #OPENCV_VERSION := 3 修改为： 
OPENCV_VERSION := 3

 

将 #WITH_PYTHON_LAYER := 1 修改为 
WITH_PYTHON_LAYER := 1

 

修改python路径：
INCLUDE_DIRS := $(PYTHON_INCLUDE) /usr/local/include
LIBRARY_DIRS := $(PYTHON_LIB) /usr/local/lib /usr/lib 
修改为： 
INCLUDE_DIRS := $(PYTHON_INCLUDE) /usr/local/include /usr/include/hdf5/serial
LIBRARY_DIRS := $(PYTHON_LIB) /usr/local/lib /usr/lib /usr/lib/x86_64-linux-gnu /usr/lib/x86_64-linux-gnu/hdf5/serial       
 

根据下图，注释相关cuda_arch：

 

  1. 修改Makefile文件：
将： NVCCFLAGS +=-ccbin=$(CXX) -Xcompiler-fPIC $(COMMON_FLAGS)  
替换为：
NVCCFLAGS += -D_FORCE_INLINES -ccbin=$(CXX) -Xcompiler -fPIC $(COMMON_FLAGS)
 
将：LIBRARIES += glog gflags protobuf boost_system boost_filesystem m hdf5_hl hdf5改为：
LIBRARIES += glog gflags protobuf boost_system boost_filesystem m hdf5_serial_hl hdf5_serial
  1. 执行编译：
make all –j8     #显示权限不够前面加sudo
make runtest –j8

编译caffe的python接口

  1. 进入caffe根目录进行编译：
cd caffe
make pycaffe –j8
  1. 验证是否编译成功：
python
import caffe

若显示 no module named caffe:

sudo echo export PYTHONPATH="~/caffe/python" >> ~/.bashrc
source ~/.bashrc

 

 

 

 

其他tips

配置pycharm桌面图标

  1. 进入桌面文件夹：
cd ~/Desktop
  1. 新建桌面图标文件
gedit Pycharm.desktop
  1. 写入以下内容后保存：
[Desktop Entry]
Type=Application
Name=Pycharm
Icon=/home/user/pycharm-2019.2/bin/pycharm.png #改为相应安装位置
Exec=/home/user/pycharm-2019.2/bin/pycharm.sh
MimeType=application/x-py;
Name[en_US]=pycharm
  1. 右键上述文件-属性-权限：允许此文件作为程序运行

 

 

 

 

 

 

 

 

睡前救世主(￣_￣ )
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
服务器使用及环境配置
Wangzx的博客
02-28 3731
服务器使用及环境配置
Linux服务器pytorch环境配置详解
热门推荐
xiaotouming1的博客
08-07 1万+
Linux服务器pytorch环境配置详解 pytorch环境的搭建是在服务器上运行相关程序，主要是深度学习等，的第一步，笔者从自身经历出发在下文给出详细的步骤介绍避免读者再走弯路。 特别地，笔者首先指出在进行下面步骤时笔者会使用的一些工具： WinSCP 主要用于向服务器传输文件，可以使用其他工具 Mobaxterm 主要用于与在服务器上进行操作，强烈推荐. 在机器学习，深度学习中，要用到大量的 package（就是各种工具包）。一个个安装 package 很麻烦，而且容易出现疏漏。于是，就有了 Anac
2024年最全手把手教你给个人服务器配置环境(1)
2401_84562659的博客
05-02 311
Python崛起并且风靡，因为优点多、应用领域广、被大牛们认可。学习 Python 门槛很低，但它的晋级路线很多，通过它你能进入机器学习、数据挖掘、大数据，CS等更加高级的领域。Python可以做网络应用，可以做科学计算，数据分析，可以做网络爬虫，可以做机器学习、自然语言处理、可以写游戏、可以做桌面应用…Python可以做的很多，你需要学好基础，再选择明确的方向。这里给大家分享一份全套的 Python 学习资料，给那些想学习 Python 的小伙伴们一点帮助！
大数据服务器环境配置
qq_36863995的博客
04-25 9855
大数据服务器环境配置前言：本人萌新，最近买了3台云服务器便想自己搭建一个大数据的环境。因为是试手服务器，加上是学生党没什么钱呀~所以配置没买太高。本人选择了3台1核2G的服务器。 1. 操作系统选择因为是云服务器，就少了装系统等不必要的麻烦（瞬间省了好多事有木有）。在下选择的是Centos7.3的系统。 2.网卡环境因为本人使用的是云服务器，所以网卡便不需要怎么配置啦。假设是虚拟机或者是自己用的服...
深度学习服务器环境配置总结
骜蛟的博客
11-17 4025
环境配置总结 一、连接服务器 1.1 命令行 登录： ssh 用户名@服务器IP地址 -p 端口号 然后输入密码就可以了。 缺点是上传下载文件比较麻烦。 1.2 FinalShell 配置好信息即可，上传下载文件方便，有可视化文件管理。 二、Pytorch环境配置 2.1 conda Conda 是一个开源的软件包管理系统和环境管理系统，用于安装多个版本的软件包及其依赖关系，并在它们之间轻松切换。 一般服务器上都先装好了conda，直接创建一个个人虚拟环境。 conda create -n 个人环
在服务器上配置个人环境
sinat_42435979的博客
12-16 3124
本篇文章主要介绍，在实验室中分配的新的服务器（Linux系统）账户后，如何配置自己的环境。
远程服务器上配置conda环境
andy dennis的博客
11-06 8948
前言 本文假设在linux的机子上进行配置。由于作者经常需要在特定环境的代码中才能运行成功，因此最好是配置一个conda env虚拟环境(当然使用virtualenv也可以), 不过有些论文作者直接就是按照conda去配置，然后把一些依赖导出，因此本文说一下如何在linux上配置conda. 下载miniconda 该部分参考 https://blog.csdn.net/qq_42951560/article/details/109152114 暂时没感受到conda和miniconda的区别，我在
服务器配置个人总结
一只刚入坑小白的博客
11-03 4059
记录配置服务器的经历 2018-11-3 因项目对服务器的要求，尝试了移动，电信，云服务器的搭建，并测试，选择云服务器。 服务器版本是 Windows2012版，X86系统，mysql56，jdk1.8，tomcat8； 1.远程连接服务器，输入IP和密码； 2.拿到的服务器是已经安装好mysql的，所以不需要安卓mysql。 3.安装jdk，自定义文件夹，我放到了D盘根目录，D:\jdk ，D...
服务器Java环境配置
weixin_45568391的博客
04-23 3043
检查当前服务器环境是否已配置了JAVA 命令：java -version 环境配置 通过官网下载JDK文件，地址：https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html（此次安装的是jdk1.8.0_331） 没登录过，需要注册一下账号，确认后才能下载。 在服务器根目录 /usr/local/ 下新增JAVA文件夹：mkdir java 将已下载的JDK文件使用文件上传工具，上传至 /usr/
腾讯云Linux服务器环境配置之java环境配置
小谷的博客
12-10 2642
系列文章目录 腾讯云服务器环境配置之java环境配置，做下记录 文章目录系列文章目录前言一、jdk下载二、jdk切换 前言 在腾讯云上买了一台2核4G的Linux服务器，做一些环境配置，以便后面项目部署。 提示：以下是本篇文章正文内容，下面案例可供参考 一、jdk下载 参考了该博客: Centos在线一键安装，效果很好. 二、jdk切换 输入切换命令：alternatives --config java 系统会自动检查已经有的jdk。 自行切换（选择数字即可）。 效果流程如下图 ...
服务器入门与基础配置
qq_45349785的博客
02-17 9921
一、什么是服务器？ 服务器是计算机的一种，它比普通计算机运行更快、负载更高、价格更贵。服务器在网络中为其它客户机（如PC机、智能手机、ATM等终端甚至是火车系统等大型设备）提供计算或者应用服务。 常见的外形有：刀片式、塔式、机柜式等（感觉很是牛逼。。） 其实呢，如果只是个人用的话，根本不需要那么庞大的资源，所以现在【云服务器】就卖的很火，我们不需要去管硬件的结构，只需要通过网络就可以利用服务器资源...
服务器环境配置工具
04-30
服务器环境配置工具是IT行业中必不可少的一环，它们用于简化在服务器上部署和管理软件环境的过程。这类工具通常包括自动化脚本、配置管理软件以及版本控制系统等，能够帮助系统管理员高效地完成任务，确保服务器的...
WordPress博客服务器环境配置
01-20
早就想搭建一个专属于自己的...安装 WordPres很容易，但是把相关的配置好就比较麻烦了。下面是我整个搭建过程的总结。操作系统:Ubuntu 12.04LTS首先列出需要的文件：1.wordpress http://wordpress.org/download/2.mysql
Windows server 2003 服务器环境配置 新手简明版
09-30
Windows server 2003 服务器环境配置 新手简明版，第一次接触win2003服务器的朋友应该也可以参考配置下。
离线安装 timm 0.6.12 库，适用于在内网环境下的服务器环境配置
01-24
离线安装timm库，适用于在内网环境下的服务器环境配置！ 直接使用 pip install timm 会提示无网络，无法安装，且低于timm 0.4.12的版本会提示报错ImportError: cannot import name 'container_abcs' from 'torch._...
深度学习：目标检测的革命者
2401_85761003的博客
07-23 923
深度学习已经成为目标检测领域的重要驱动力，它通过强大的特征提取能力和端到端的学习方式，极大地提高了检测的准确性和效率。随着技术的不断进步，我们有理由相信深度学习将在目标检测中发挥更大的作用，推动相关行业的快速发展。注意：本文中的代码示例仅供参考，实际使用时请根据你的项目情况进行调整。如果你有任何问题或需要进一步的帮助，请随时联系我们。
小目标检测：深度学习中的微观挑战
2401_85341950的博客
07-23 534
在计算机视觉领域，小目标检测是一个具有挑战性的任务。小目标由于其在图像中占据的像素较少，常常难以被准确识别和定位。这一问题在交通监控、卫星图像分析、医学成像等领域尤为突出。本文将探讨小目标检测面临的主要挑战，并讨论一些流行的解决方案和代码示例，以帮助读者更好地理解这一领域的技术难点。
【深度学习】大模型GLM-4-9B Chat ，微调与部署(3) TensorRT-LLM、TensorRT量化加速、Triton部署
最新发布
q742971636的博客
07-25 1798
TensorRT-LLM官方目前说在v0.12.0版本才会支持GLM-4-9B Chat ，下面以v0.10.0的魔改来做GLM-4-9B Chat的量化部署。本文目标就是加速GLM-4-9B Chat，看看能多快。A100卡。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值