docker搭建私有仓库并部署爬虫项目(自己部署的过程)

最新推荐文章于 2023-10-21 14:56:39 发布
最新推荐文章于 2023-10-21 14:56:39 发布
阅读量4.1k 收藏 4
点赞数 2
分类专栏： docker 环境搭建 文章标签： 环境搭建 docker
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43106863/article/details/102970272
版权

文章目录

一.docker原理

Docker 包括三个基本概念:

  • 镜像（Image）：Docker 镜像（Image），就相当于是一个 root 文件系统。比如官方镜像 ubuntu:16.04 就包含了完整的一套 Ubuntu16.04 最小系统的 root 文件系统。
  • 容器（Container）：镜像（Image）和容器（Container）的关系，就像是面向对象程序设计中的类和实例一样，镜像是静态的定义，容器是镜像运行时的实体。容器可以被创建、启动、停止、删除、暂停等。
  • 仓库（Repository）：仓库可看着一个代码控制中心，用来保存镜像。
    Docker 使用客户端-服务器 (C/S) 架构模式，使用远程API来管理和创建Docker容器。

Docker 使用客户端-服务器 (C/S) 架构模式，使用远程API来管理和创建Docker容器。
Docker 容器通过 Docker 镜像来创建。
在这里插入图片描述

概念说明
Docker 镜像(Images)Docker 镜像是用于创建 Docker 容器的模板，比如 Ubuntu 系统
Docker 容器(Container)容器是独立运行的一个或一组应用，是镜像运行时的实体
Docker 客户端(Client)Docker 客户端通过命令行或者其他工具使用 Docker SDK (https://docs.docker.com/develop/sdk/) 与 Docker 的守护进程通信。
Docker 主机(Host)一个物理或者虚拟的机器用于执行 Docker 守护进程和容器。
Docker 仓库(Registry)Docker 仓库用来保存镜像，可以理解为代码控制中的代码仓库。通常，一个仓库会包含同一个软件不同版本的镜像，而标签就常用于对应该软件的各个版本。我们可以通过 <仓库名>:<标签>的格式来指定具体是这个软件哪个版本的镜像。如果不给出标签，将以 latest 作为默认标签。
Docker MachineDocker Machine是一个简化Docker安装的命令行工具，通过一个简单的命令行即可在相应的平台上安装Docker，比如VirtualBox、 Digital Ocean、Microsoft Azure。

二.安装docker并启动

环境：centos7

（1）环境准备：关闭防火墙、selinux和swap。
systemctl stop firewalld

systemctl disable firewalld

setenforce 0

sed -i "s/^SELINUX=enforcing/SELINUX=disabled/g" /etc/selinux/config

swapoff -a

sed -i 's/.*swap.*/#&/' /etc/fstab
（2）方法一：
yum update -y
yum install -y yum-utils device-mapper-persistent-data lvm2
yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
yum makecache fast
yum -y install docker-ce
（3）方法二：
yum install -y wget
mkdir /etc/yum.repos.d/bak
mv /etc/yum.repos.d/*.repo /etc/yum.repos.d/bak
wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.cloud.tencent.com/repo/centos7_base.repo
wget -O /etc/yum.repos.d/epel.repo http://mirrors.cloud.tencent.com/repo/epel-7.repo
yum clean all && yum makecache
wget https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo -O /etc/yum.repos.d/docker-ce.repo
yum install -y docker-ce-18.09.7 docker-ce-cli-18.09.7 containerd.io

启动docker：

systemctl enable docker
systemctl start docker

测试是否启动成功：

docker info   /  docker version

在这里插入图片描述

三.编写Dockerfile文件

FROM python:3.6
MAINTAINER name "xxxxx@qq.com"
ENV PATH /usr/local/bin:$PATH
ADD . /code
WORKDIR /code/TestSpider
RUN pip3 install -r requirements
CMD /usr/local/bin/scrapy crawl test
  • FROM 指定使用哪个镜像源
  • MAINTAINER 设置作者名与联系邮箱
  • ENV 是环境变量设置，将/usr/local/bin:$PATH赋值给PATH，即增加/usr/local/bin这个环境变量路径。
  • ADD是将本地的代码放置到虚拟容器中。它有两个参数：第一个参数是 “ . ”，代表本地当前路径；第二个参数是/code，代表虚拟容器中的路径，也就是将本地项目所有内容放置到虚拟容器的/code目录下，以便于在虚拟容器中运行代码
  • WORKDIR是指定工作目录，这里将刚才添加的代码路径设成工作路径。这个路径下的目录结构和当前本地目录结构是相同的，所以我们可以直接执行库安装命令、爬虫运行命令等。
  • RUN 指令告诉docker 在镜像内执行命令，安装了什么。。。
  • CMD是容器启动命令。在容器运行时，此命令会被执行。在这里我们直接用scrapy crawl test来启动爬虫。

四.构建Docker镜像

docker build -t spider:0.01 .

注意后面有个点
运行测试：

docker run 镜像名

五.搭建私有仓库

（1）搭建私有镜像仓库并查看
docker pull registry
docker images
（2）创建文件夹，往文件中添加密码
cd /opt/
mkdir auth
cd /opt/auth/
echo "user:root passwd:123456" >htpasswd
cd ..
docker run --entrypoint htpasswd registry:latest -Bbn root 123456 >auth/htpasswd
cat auth/htpasswd
## 类似 root:$2y$05$KBeLoXDIaXwSzt7ah/gUGOrbPTfsT/Uy2j92YXCuMBkg.Kl2b2Jby
（3）启动registry1容器 ,默认端口5000映射到5000
docker run  -d -p 5000:5000 --restart=always --name registry1 \
     -v `pwd`/auth:/auth \
     -e "REGISTRY_AUTH=htpasswd" \
     -e  "REGISTRY_AUTH_HTPASSWD_REALM=Registry Realm" \
     -e  REGISTRY_AUTH_HTPASSWD_PATH=/auth/htpasswd \
     registry
（4）搭建私有镜像仓库

配置使用私有仓库

vim /etc/docker/daemon.json
##添加如下内容：
{
"insecure-registries":["192.168.5.120:5000"]
}

重启服务

systemctl restart docker

六.上传镜像到仓库

（1）登录私有仓库
docker login 192.168.5.120:5000

输入之前设定的账号密码，如下所示则成功
在这里插入图片描述

（2）给镜像打tag
docker tag  spider:0.01   192.168.5.120:5000/spider:0.01
（3）上传到仓库
docker push 192.168.5.120:5000/spider:0.01

七.将爬虫镜像下载到本地

（1）登录私有仓库
docker login 192.168.5.120:5000
（2）下载镜像
# 先删除本地镜像
docker rmi -f 192.168.5.120:5000/spider:0.01
# 查看所有镜像
docker images
# 下载镜像
docker pull 192.168.5.120:5000/spider:0.01

八.启动容器

docker run 192.168.5.120:5000/spider:0.01

九.自己配置需要的环境并保存镜像

（1）注册docker hub 账号并登录
（2）下载centos镜像或ubuntu镜像
docker pull centos
（3）进入centos容器交互模式
docker run -i -t centos  /bin/bash
（4）在centos容器配置需要的环境

配置环境变量

vim /etc/profile

在容器内source是没有作用的，退出容器调用镜像的时候环境变量并未生效

cd ~
vim ./.bashrc

# .bashrc
  
# User specific aliases and functions

alias rm='rm -i'
alias cp='cp -i'
alias mv='mv -i'

# Source global definitions
if [ -f /etc/bashrc ]; then
        . /etc/bashrc
source /etc/profile  # 在次数添加刷新环境变量的命令
fi
（5）退出centos容器并保存
Ctrl + P + Q   # 退出容器
docker ps -a  # 查看运行的容器ID
docker stop 容器ID  # 停止容器
docker commit 容器ID 新容器名称   # 从容器创建一个新的镜像

docker安装内容参考
docker部署爬虫内容参考
私有仓库的搭建内容参考
交互式搭建镜像环境内容参考

桐瑾灬
关注
  • 2
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
微服务架构：基于微服务和Docker容器技术的PaaS云平台架构设计（微服务架构实施原理）
CCqwas的博客
03-14 338
基于微服务架构和Docker容器技术的PaaS云平台建设目标是给我们的开发人员提供一套服务快速开发、部署、运维管理、持续开发持续集成的流程。平台提供基础设施、中间件、数据服务、云服务器等资源，开发人员只需要开发业务代码并提交到平台代码库，做一些必要的配置，系统会自动构建、部署，实现应用的敏捷开发、快速迭代。在系统架构上，PaaS云平台主要分为微服务架构、Docker容器技术、DveOps三部分，这篇文章重点介绍微服务架构的实施。 实施微服务需要投入大量的技术力量来开发基础设施，这对很多公司来说显然是不..
爬虫：Ajax数据爬取
二十四桥明月夜
01-03 8815
目录 1、什么是Ajax 1.1 实例的引入 1.2 基本原理 2、Ajax分析方法 1、查看请求 2、过滤请求 3、Ajax结果提取 1、分析请求 2、分析响应 3、例子 我们在用 requests 抓取页面的时候，得到的结果可能和在浏览器中看到的不一样：在浏览器中可以看到正常显示的页面数据，但是使用 requests 得到的结果并没有， 这是因为 requests 获取的 都是原始的 HTML 文档，而浏览器中的页面则是经过 JavaScript 处理数据后生成的结果，这些数据的.
Docker部署Python爬虫项目的方法步骤
09-18
主要介绍了Docker部署Python爬虫项目的方法步骤，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
Docker 部署本地爬虫项目到服务器
最新发布
qq_61122628的博客
10-21 1602
笔记：一直想写一篇博客的，那就趁着周末闲暇时光记录一下。docker 部署本地爬虫
Docker部署爬虫
DTCloud
03-24 1472
安装docker yum install docker 启动docker service docker start 安装git yum install git 生成ssh key ssh-keygen 创建文件夹，用于存放构建文件 mkdir django_scrapy cd django_scrapy 创建构建文件 touch dockerfile 修改构建文件 v...
docker布置一个爬虫容器
Fkasper的博客
08-04 891
启动一个爬虫程序，并就主机目录挂载到容器目录，保证容器销毁数据仍在
Docker部署Python爬虫项目
qq_40961654的博客
12-02 447
title: Docker部署Python爬虫项目 Docker部署Python爬虫项目 1) 首先安装docker： # 用 yum 安装并启动 yum install docker -y && systemctl start docker 2) 下载自定义镜像需要用到的基础镜像： # 这里以centos7为例 docker pull centos:centos7 3) ...
零基础Python爬虫48小时速成课.txt
09-23
31 5.04扩展Docker搭建私有仓库.mp4 32 5.05扩展VM安装ubuntu-server.mp4 33 5.06扩展远程连接server及免密登录.mp4 34 5.07单元测试及测试套件.mp4 35 6.01回顾与总结上周知识点.mp4 36 6.02日志模块的应用....
基于微服务和Docker容器技术PaaS云平台架构设计（实施原理）
+W❤：bjmsb2019
08-13 198
基于微服务架构和Docker容器技术的PaaS云平台建设目标是给我们的开发人员提供一套服务快速开发、部署、运维管理、持续开发持续集成的流程。平台提供基础设施、中间件、数据服务、云服务器等资源，开发人员只需要开发业务代码并提交到平台代码库，做一些必要的配置，系统会自动构建、部署，实现应用的敏捷开发、快速迭代。在系统架构上，PaaS云平台主要分为微服务架构、Docker容器技术、DveOps三部分，这篇文章重点介绍微服务架构的实施。 实施微服务需要投入大量的技术力量来开发基础设施，这对很多公司来说显然是不现实
「docker实战篇」python的docker爬虫技术-导学（一）
weixin_34174105的博客
04-14 258
这个专辑开始从环境的搭建到app数据抓取的整套的实战流程。 我们会学到什么？老铁，只有个电脑没有手机怎么办，没事我想到了用模拟器，说实话模拟器没有手机爬的效率快，但是模拟器都会了手机还是问题不？安卓模拟器的搭建抓包工具自动化控制工具使用模拟点击，模拟输入等功能python编写爬虫app数据基于docker的多app端数据抓取系统拿到数据能干什么？做个互联网项目，没有基础数据行不行数据库分析对比其...
基于docker-compose快速部署spiderflow
05-25
包含了docker-compose快速部署spiderflow的所有相关文件，包含docker-compose.yml，mysql， spiderflow.jar 可直接运行docker-compose up -d 启动容器。 数据库相关配置都可以通过docker-compose.yml修改。
Docker 部署Scrapy的详解
01-10
假设我们要在10台Ubuntu 部署爬虫如何搞之？用传统的方法会吐血的，除非你记录下来每个步骤，然后步骤之间的次序还完全一样，这样才行。但是这样还是累啊，个别软件下载又需要时间。所以Docker出现了。Docker把系统，各种需要的应用，还有设置编译成一个image，然后 run一下就可以了。跟虚拟机的区别是不需要而外的物理支持，共用的。 1. 部署步骤 1.1 上传本地scrapy爬虫代码除了settings外到git 服务器 1.2 编写Dockerfile文件，把settings和requirements.txt 也拷贝到image里，一起打包成一个image Dockerfile内容：
「docker实战篇」python的docker爬虫技术-fiddler的断点设置（八）
weixin_33951761的博客
04-30 140
原创文章，欢迎转载。转载请注明：转载自IT人故事会，谢谢！原文链接地址：「docker实战篇」python的docker爬虫技术-fiddler的断点设置（八）抓包其实很多人的最终目的，其实你的想法我早已看透，就是为了设置断点修改下数据看看他的神奇之处，中间人的工具其实就是这样，有句话捎话捎多，捎钱少捎少，如果修改了数据中间人就是这种角色。设置断点的两种方式（一）基于图形界面可以在请求之前进行断点...
用Docker部署一个自己的可视化爬虫系统
weixin_33981932的博客
05-11 355
2019独角兽企业重金招聘Python工程师标准>>> ...
「docker实战篇」python的docker爬虫技术-fiddler抓包软件详细配置（七）
IT架构圈博客
04-29 324
原创文章，欢迎转载。转载请注明：转载自IT人故事会，谢谢！ 原文链接地址：「docker实战篇」python的docker爬虫技术-fiddler抓包软件详细配置（七） 挑选常用的功能给各位老铁介绍下。 fiddler 第一次进入fiddler fiddler会请求fiddler的官网，检查更新操作 布局分布 工具栏 File -capture traffic ...
scrapy爬虫docker部署
03-22 190
spider_docker 接我上篇博客，为爬虫引用创建container，包括的模块：scrapy, mongo, celery, rabbitmq，连接https://github.com/LiuRoy/spider_docker 创建image 进入spider_docker目录，执行命令： docker build --rm -t zhihu_spider src/ 运...
【Docker】Docker部署爬虫实战
Ezreal's Blog
12-28 696
环境 系统：ubuntu18.04 docker：19.03.5 一、安装docker 1、卸载已安装的docker sudo apt autoremove docker sudo apt autoremove docker-engine sudo apt autoremove docker.io 2、执行自动安装docker的脚本 curl -fsSL https://get.d...
Docker部署爬虫实战
GuapoChen的博客
08-26 1500
本项目使用Springboot编写服务端口，python实现爬虫任务，bash脚本完成任务调度。出于环境搭建过于繁琐的考虑，本项目希望采用容器化技术完成一键部署，简化操作流程。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值