docker安装anaconda对应的python_anaconda docker 安装教程

最新推荐文章于 2024-09-08 14:37:20 发布

weixin_39892447

最新推荐文章于 2024-09-08 14:37:20 发布

阅读量659

点赞数

文章标签： docker安装anaconda对应的python

环境配置操作指南

1 前言

这是一个python环境安装配置指南，包括了不同环境下的Anacode安装配置、docker安装配置，以及免费环境的推荐使用方法。

2 Anaconda安装

2.1 Window安装anaconda

下载anaconda 官网下载地址：https://www.anaconda.com/download/

如果网速比较慢，可以通过网盘获取链接: https://pan.baidu.com/s/18ZcJzl96CA1DizQizIc_uA 提取码: r2mu

国内源下载国内的 Anaconda 源很多，我比较推荐的有清华源、中科大源。

例如使用清华源，下载 Anaconda https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/Anaconda3-2020.02-Windows-x86_64.exe)

运行exe文件，默认下一步。

安装完成后，可以通过anaconda navigator，直接运行jupyter notebook。

2.2 Linux安装anaconda

下载 Anaconda 在Anaconda官网下载，比较费时：https://www.anaconda.com/download/

在清华大学开源软件镜像站下载：https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/。

安装 Anaconda 打开terminal，打开下载文件的位置，运行 .sh 文件：

bash Anaconda3-5.2.0-Linux-x86_64.sh

进入注册信息页面，输入yes，yes,enter，默认下一步，至完成。

其中提示信息“Do you wish to proceed with the installation of Microsoft VSCode? [yes|no]”，输入no；

重启终端，即可使用Anaconda3；

若在终端输入 python，仍然会显示Ubuntu自带的python版本，我们执行：

sudo gedit ~/.bashrc

export PATH="/home/xupp/anaconda3/bin:$PATH"

source ~/.bashrc

修改终端的默认 python 为 anaconda，至此全部完成。

3 Docker安装

docker已经兼容了各种主流操作系统，Linux，MAC和Windows。Docker是开发人员和系统管理员开发、部署和运行带有容器的应用程序的平台。是一种基于容器实现虚拟化技术的一种平台或技术。

3.1 Window安装Docker

3.1.1 开启虚拟化

确保任务管理器->性能->虚拟化为启动状态。

3.1.2 docker-toolbox和boot2docker下载

方法一：官网下载

docker-toolbox：https://get.daocloud.io/toolbox/

Boot2docker(寻找上面对应的版本进行下载)：https://github.com/boot2docker/boot2docker/releases/tag/v19.03.1

若无法使用默认VirtualBox，则下载最新的VirtualBox(下载链接为： https://download.virtualbox.org/virtualbox/6.0.14/VirtualBox-6.0.14-133895-Win.exe)，按默认设置完成安装。

方法二：百度云盘下载：

链接：https://pan.baidu.com/s/1ZZquT-m8oYIdjcyOvcT7MQ

提取码：y178

3.1.3 安装

双击docker-toolbox

一路默认，安装完成后桌面出现以下三个图标：

双击Docker Quickstart Terminal 出现以下问题，缺少boot2docker，双击Docker Quickstart Terminal时会自动下载，但因为网络原因下载会比较慢而报错，这时候可以将二中的Boot2docker直接拷贝到以下路径中。

注意：要运行Docker Quickstart Terminal后才能出现上图显示的路径。

再次打开Docker Quickstart Terminal 出现小鲸鱼，则启动成功。

3.2 Linux安装Docker

以Ubuntu18.04举例：

安装Docker

sudo apt-get update

安装依赖包

sudo apt-get install apt-transport-https ca-certificates curl gnupg-agent software-properties-common

添加 Docker 的官方 GPG 密钥

curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo apt-key add -

验证您现在是否拥有带有指纹的密钥

sudo apt-key fingerprint 0EBFCD88

设置稳定版仓库

sudo add-apt-repository "deb [arch=amd64] https://download.docker.com/linux/ubuntu $(lsb_release -cs) stable"

安装 Docker Engine-Community

sudo apt-get update

安装最新的Docker-ce

sudo apt-get install docker-ce

启动

sudo systemctl enable docker

sudo systemctl start docker

测试

sudo docker run hello-world

3.3 docker的使用

Docker image

创建工作目录和空Dockerfile:

mkdir docker-data-science

cd docker-data-science

touch Dockerfile

Here is our Dockerfile:

# We will use Ubuntu for our image

FROM ubuntu

# Updating Ubuntu packages

RUN apt-get update && yes|apt-get upgrade

# Adding wget and bzip2

RUN apt-get install -y wget bzip2

# Anaconda installing

RUN wget https://repo.continuum.io/archive/Anaconda3-5.0.1-Linux-x86_64.sh

RUN bash Anaconda3-5.0.1-Linux-x86_64.sh -b

RUN rm Anaconda3-5.0.1-Linux-x86_64.sh

# Set path to conda

ENV PATH /root/anaconda3/bin:$PATH

# Updating Anaconda packages

RUN conda update conda

RUN conda update anaconda

RUN conda update --all

# Configuring access to Jupyter

RUN mkdir /opt/notebooks

RUN jupyter notebook --generate-config --allow-root

RUN echo "c.NotebookApp.password = u'sha1:6a3f528eec40:6e896b6e4828f525a6e20e5411cd1c8075d68619'" >> /root/.jupyter/jupyter_notebook_config.py

# Jupyter listens port: 8888

EXPOSE 8888

# Run Jupytewr notebook as Docker main process

CMD ["jupyter", "notebook", "--allow-root", "--notebook-dir=/opt/notebooks", "--ip='*'", "--port=8888", "--no-browser"]

创建 image，下载并安装anaconda：

docker build -t docker-data-science .

查看建立的image：

docker images

docker run --name docker-data-science -p 8888:8888 -v "$PWD/notebooks:/opt/notebooks" -d docker-data-science

在该路径下打开jupyter，打开http://localhost:8888/

结束：

docker rm -f docker-data-science

Github

git init

echo "notebooks" > .gitignore

git add .

git commit -m "first commit"

git remote add origin https://github.com/evheniy/docker-data-science.git

git push -u origin master

git clone https://github.com/evheniy/docker-data-science.git

Docker hub

docker login

# Make a new tag:

docker tag docker-data-science evheniy/docker-data-science

# push image:

docker push evheniy/docker-data-science

# pull image:

docker pull evheniy/docker-data-science

3.4 安装常见问题

电脑win10家庭版，安装失败：出现错误"Docker Desktop requires Windows 10 Pro or Enterprise version 14393 to run."。

这也涉及到了另外一种安装方式：利用Windows的Hyper-v虚拟化技术，直接在Windows上安装docker(先开启Hyper-v，但Hyper-v与vmware workstation不兼容，后期想运行vmware workstation时还需要禁用Hyper-v，所以暂不推荐该方法)。需要尝试的童鞋下载链接(https://download.docker.com/win/stable/Docker%20Desktop%20Installer.exe)

原因：win10必须为教育版或专业版参考，win7也会报同样的错误。

处理方式：需要利用docker toolbox来安装docker

4 免费环境推荐

4.1 Google colab 使用指南

Google Colaboratory是谷歌提供的基于linux系统的免费云平台，内部已经集成了深度学习所需要的库，比如Tensorflow(目前Version：2.2.0rc3)和Keras(目前Version: 2.3.1)等，一般情况下无需我们再做配置，直接上传自己代码就能用了。

注册好账号后，进入网址：https://drive.google.com/drive/my-drive

新建创建notebook：

设置加速器为GPU加速，大家可以在工具栏找到修改-->笔记本设置-->硬件加速器-->选择GPU，这样就可以在后面使用GPU加速啦。

装载自己的Google云端硬盘 -用以后面加载我们放在云盘中的文件。方法：侧边栏-->文件-->装载Google云端硬盘。

输入Linux命令时需要加上“！”，例如：

!pip install psutil

!pip install tqdm

!pip install lightgbm

!pip install numpy

!pip install pandas

4.2 Kaggle notebook 使用指南

登陆https://www.kaggle.com/

点击My profile->Kernels

新建一个notebook 导入对应的数据集，选择使用GPU，就可以运行代码了。

5 KDD比赛安装

Step1: 国内同学替换清华源

Anaconda 镜像使用帮助 mac/linux/windows用户：按照清华提供的教程替换.condarc文件即可. 不要忘记 conda clean -i

Step2: 创建Anaconda虚拟环境

conda create -n kdd python=3.6

conda activate kdd

Step3: 安装所需的包

pip install psutil

pip install tqdm

pip install lightgbm

pip install numpy

pip install pandas

pip install cpython

pip install libython

安装GloVe：要保证完成以上步骤后，再按照该网址https://blog.csdn.net/weixin_43459156/article/details/89504204 进行安装操作(注意，若编译安装出错，建议在下载mingw64，并设置/mingw64/bin为系统的环境变量)

Step4: 下载数据

train_path = './data/underexpose_train'

test_path = './data/underexpose_test'