docker部署scrapy项目

将scrapy爬虫或者分布式爬虫通过docker发布到docker hub 上

1.准备工作，本机有docker
2.在项目的根目录下创建 requirements.txt 和Dockerfile 文件（Dockerfile文件没有后缀名）
3.在requirements.txt 列出项目需要的第三方库+版本 ，也可以不加版本：
Scrapy>=1.8.0
scrapy-redis>=0.7.1
pymongo>=3.12.1
4.在Dockerfile文件中：
FROM python:3.8 #自己Python版本
ENV PATH /usr/local/bin:$PATH
ADD . /code
WORKDIR /code
RUN pip install -r requirements.txt
CMD scrapy crawl qsbk_spider # qsbk_spider 这个名字随意
查看自己主机外网IP：sudo apt-get install curl curl ifconfig.me 即可查看
5 将数据库和Redis的IP改成宿主机的IP,这样docker就可以连接redis 和MongoDB
6. sudo docker build -t qsbk_spider:latest . 构建镜像，加latest 按指定版本下载，否则，下最新版本，注意后面有个点，qsbk_spider这是爬虫名
7. 在docker中运行镜像：docker run ID/名字
二 docker 常见操作
. sudo docker images
. sudo docker run ef9f4fa69b0f
. sudo docker rmi -f d237c372d252 强制删除
. sudo docker rmi d237c372d252 普通删除
. docker ps // 查看所有正在运行容器
docker stop containerId // containerId 是容器的ID
docker ps -a // 查看所有容器
docker ps -a -q // 查看所有容器ID
docker start $(docker ps -a -q) // start启动所有停止的容器
docker stop $(docker ps -a -q) // stop停止所有容器
docker rm $(docker ps -a -q) // remove删除所有容器
docker kill 容器id/容器名字