django系列13 - 部署代码到linux上

已于 2022-07-30 01:39:34 修改
阅读量1.2k 收藏 2
点赞数 2
分类专栏： Django 文章标签： linux django docker
于 2022-07-29 07:46:53 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45451320/article/details/126003564
版权

腾讯云部署接口自动化平台

第一步、部署 portainer

  1. 云服务器中执行：yum update
    在这里插入图片描述

  2. 安装并验证 docker、docker-compose，参考：docker学习总结2 - docker\docker-compose安装配置
    在这里插入图片描述

  3. 根目录下依次执行：
    mkdir /opt/vhosts/portainer
    cd /opt/vhosts/portainer
    touch docker-compose.yml

  4. 复制内容到 docker-compose.yml 中：

version: '3'

services:
  portainer:
    image: portainer/portainer-ce
    container_name: portainer
    restart: always
    ports:
      - 9001:9000
    command: -H unix:///var/run/docker.sock
    volumes:
      - /var/run/docker.sock:/var/run/docker.sock
      - portainer_data:/data

volumes:
  portainer_data:

踩坑：
（1）第一次排查过程：
portainer官网：https://docs.portainer.io/v/ce-2.11/start/install/server/docker/linux
docker官网：https://hub.docker.com/r/portainer/portainer
访问portainer官网后，查看如何在linux部署后把commond那行去掉了，问题解决
（2） 第二次发现没有识别到我在服务器部署的容器，继续排查：
发现我把 docker-compose.yml 配错了，在- /var/run/docker.sock:/var/run/docker.sock最后少了个k，问题排查了2小时

  1. 登录 portainer：http://162.14.119.65:9001 后，创建管理员账号：admin / admin@123456
    在这里插入图片描述

第二步、编写 Dockerfile 制作项目镜像

FROM python:3.8-buster
ENV PYTHONUNBUFFERED=1
ADD ./requirements.txt /app/requirements.txt

RUN sh -c "echo 'Asia/Shanghai' > /etc/timezone" \
    && cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime \
    && pip install --upgrade pip -i https://pypi.tuna.tsinghua.edu.cn/simple \ 
    && cd /app \
    && mkdir static \
    && pip install -r ./requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

#是否将源代码打包到镜像内？取决于什么因素？频繁的发版本就不要放里面了，只需要改下代码提价后，git自动拉取就好了
# ADD . /app

EXPOSE 8000
ENTRYPOINT cd /app; python manage.py collectstatic -c --no-input; gunicorn -b 0.0.0.0:8000 auto_test_platform.wsgi;

# 不管加不加 migrate ，需要注意到对后续流程的影响
# python manage.py migrate
  1. 关掉 add . /app ，没有将代码打包进镜像，意味着：我们开发了新功能，只需要 git pull 一下代码，重启下容器，就可以在linux中部署开发的功能了。
  2. 如果打开 add . /app，我们就将当前版本的代码放入镜像中，别人拉取代码镜像+其他部署需要的镜像部署容器后，进入镜像配置下 .env文件，启动容器就可以使用这个版本的功能了。

第三步、创建目录并拉取代码

  1. mkdir /opt/vhosts/auto-test-plt-project
  2. cd /opt/vhosts/auto-test-plt-project
  3. 拉取仓库代码：git clone https://gitee.com/jiao-tengfei/auto_test_platform.git
  4. 更新最新的仓库代码：git pull origin master
    在这里插入图片描述

注意：
我这块拉取了100多M的代码，因为开发过程中我上传过其他资料文档，所以比较大。
注意你的代码仓库名必须是：auto_test_plt

第四步、编辑 .env 文件，设置生产环境变量

DEBUG=False
DATABASE_URL=mysql://auto_test_plt:atp2021$Atstudy@mysql-8:3306/auto_test_plt

TEST_PLT_API_TIMEOUT_CONNECT=3.1
TEST_PLT_API_TIMEOUT_RESP=30

LIST_PER_PAGE=10

LOG_DIR=/var/log/django
ERROR_LOG_FILE=error.log
INFO_LOG_FILE=info.log

LOG_TEST_PLT_LEVEL=WARNING

CELERY_BROKER_URL=amqp://rabbit:atstudy@162.14.119.65:5672/test_plt
CELERY_RESULT_EXPIRES=259200
CELERY_TASK_TIME_LIMIT=600

DINGTALK_WEB_HOOK_TOKEN=a97afd37850226e4f52bcf03f38ddaaeb5bdd6be626515e623e5005adb26c8a6
DINGTALK_WEB_HOOK_SIGN=SEC4b24231218a79134c9ee9602d54ccaadb8f7d3b41e698d217d5df2fced9ee972

注意：
（1）将 CELERY_BROKER_URL 的 ip 值修改为你的云服务器 ip**，这个用于连接 rabbitmq 的虚拟机test_plt，如果配置错误，会导致异步任务执行失败，界面报错 500，这个坑太深，我踩了4个小时。
（2）配置你自己的 DINGTALK_WEB_HOOK_TOKEN、DINGTALK_WEB_HOOK_SIGN

第五步、创建docker镜像、数据卷

构建自动化测试平台 docker 镜像，从前面可以看出这个镜像是用来运行我们开发的代码，并创建部署所需的 docker volume 数据卷，创建数据卷的意义在于我们删除了容器，不至于将我们写的N多条测试用例都给删除了，容器的数据卷会将数据都映射到容器外面。

# 构建镜像
cd /opt/vhosts/auto-test-plt-project/auto_test_platform
docker build -t auto_test_platform:v1.0.0 .

# 创建数据卷
cd /opt/vhosts/auto-test-plt-project
mkdir -p ./mysql-data 
mkdir -p ./rabbitmq-data 
mkdir -p ./logs/rabbitmq 
mkdir -p ./logs/django 
mkdir -p ./logs/worker 
mkdir -p ./logs/beat 
mkdir -p ./logs/flower 
mkdir -p ./logs/nginx 
mkdir -p ./nginx/

在这里插入图片描述

在这里插入图片描述

第六步、编写 nginx 、docker-compose 配置文件

  1. 创建nginx配置文件
    cd /opt/vhosts/auto-test-plt-project
    touch nginx/nginx.conf
  2. 复制以下内容到 nginx.conf
#user nobody;
worker_processes 1;
error_log /var/log/nginx/error.log;

events {
  worker_connections 1024; 
}

http {
  include mime.types;
  default_type application/octet-stream;
  access_log /var/log/nginx/access.log;
  sendfile on;
  keepalive_timeout 65;
  
  server {
    listen 80;
    server_name auto_test_platform;
		
    location /static/ {
      expires 30d;
      autoindex on;
      add_header Cache-Control private;
      alias /static/;
    }
			
    location / {
      proxy_pass http://auto_test_platform-web:8000;
      proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
      proxy_set_header Host $host;
      proxy_redirect off;
    }
  }
}
  1. 创建 docker-compose.yml 文件
    cd /opt/vhosts/auto-test-plt-project
    touch docker-compose.yml
  2. 复制以下内容到 docker-compose.yml 中，并执行：docker-compose up -d
version: '3'

services:
  db:
    # ★注意：该镜像默认已经包含CONVERT_TZ所需的时区数据，不需要再从官网下载导入
    image: mysql
    container_name: mysql-8
    command: --default-authentication-plugin=mysql_native_password --character-set-server=utf8mb4 --collation-server=utf8mb4_unicode_ci --innodb_buffer_pool_size=512M
    restart: always
    ports:
      - 3306:3306
    volumes:
      - ./mysql-data:/var/lib/mysql
    environment:
      MYSQL_ROOT_PASSWORD: Woaizhongguo@21cen
      MYSQL_DATABASE: auto_test_plt
      MYSQL_USER: auto_test_plt
      MYSQL_PASSWORD: atp2021$$Atstudy
      # ★注意：小心在docker-compose yml中$字面量必须用$$代替，尽量避免在密码中使用$。
    networks:
      - default

  phpmyadmin:
    image: phpmyadmin
    container_name: phpmyadmin
    depends_on:
      - db
    restart: always
    ports:
      - 8080:80
    environment:
      - PMA_HOST=mysql-8
      - PMA_PORT=3306
      - UPLOAD_LIMIT=20M
    networks:
      - default

  rabbitmq:
    image: rabbitmq:management
    container_name: rabbitmq-common
    # ★注意：先建立目录
    volumes:
      - ./rabbitmq-data/:/var/lib/rabbitmq/
    restart: always
    ports:
      - 5672:5672
      - 15672:15672
    environment:
      - RABBITMQ_DEFAULT_USER=rabbit
      - RABBITMQ_DEFAULT_PASS=atstudy
    networks:
      - default

  auto_test_plt:
    # ★注意：先git clone源码然后构建镜像 docker build -t auto_test_platform:v1.0.0 .
    image: auto_test_platform:v1.0.0
    container_name: auto_test_platform-web
    depends_on:
      - db
    working_dir: /app
    # ★注意：先建立目录
    volumes:
      - ./auto_test_platform:/app
      - ./logs/django:/var/log/django
    expose:
      - 8000
    networks:
      - default

  # 注意worker和beat的日志级别，稳定投产之后就不要用info了
  celery_worker:
    image: auto_test_platform:v1.0.0
    container_name: auto_test_platform-celery_worker
    depends_on:
      - auto_test_plt
      - rabbitmq
    working_dir: /app
    # ★注意：先建立目录volumes
    volumes:
      - ./auto_test_platform:/app
      - ./logs/worker:/var/log/worker
    entrypoint: celery -A auto_test_platform worker -l info -f /var/log/worker/celery-worker.log
    networks:
      - default

  celery_beat:
    image: auto_test_platform:v1.0.0
    container_name: auto_test_platform-celery_beat
    depends_on:
      - auto_test_plt
      - rabbitmq
    working_dir: /app
    # ★注意：先建立目录
    volumes:
      - ./auto_test_platform:/app
      - ./logs/beat:/var/log/beat
    entrypoint: celery -A auto_test_platform beat -l info -f /var/log/beat/celery-beat.log
    networks:
      - default

  celery_flower:
    image: auto_test_platform:v1.0.0
    container_name: auto_test_platform-celery_flower
    depends_on:
      - auto_test_plt
      - rabbitmq
    working_dir: /app
    ports:
      - 5555:5555
    volumes:
      - ./auto_test_platform:/app
      - ./logs/flower:/var/log/flower
    entrypoint: celery -A auto_test_platform flower --port=5555 --broker_api=http://rabbit:51testing@rabbitmq-common:15672/api/
    networks:
      - default

  nginx:
    image: nginx:latest
    container_name: auto_test_platform-nginx
    depends_on:
      - auto_test_plt
    # ★注意：先建立目录，复制nginx.conf
    volumes:
      - ./auto_test_platform/static:/static
      - ./nginx/nginx.conf:/etc/nginx/nginx.conf
      - ./logs/nginx:/var/log/nginx
    ports:
      - 80:80
    networks:
      - default

networks:
  default:
    driver: bridge

第七步、验证各个服务是否正常

  1. 打开腾讯云的相关端口：

5555（auto_test_platform-celery_flower）
80（auto_test_platform-nginx）
8080（phpmyadmin）
5672、15672（rabbitmq-common）
3306（mysql-8）
9001（ portainer）

  1. 保存以下网站：

自动化测试平台：http://162.14.119.65/admin 【root / test@123】
portainer：http://162.14.119.65:9001【admin / admin@123456】
phpmyadmin：http://162.14.119.65:8080/【auto_test_plt / atp2021$Atstudy】
rabbitmq：http://162.14.119.65:15672/【rabbit / atstudy】
flower：http://162.14.119.65:5555/

  1. 在 rabbitmq 中创建 host
    在这里插入图片描述
  2. 数据库迁移
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
  3. 登录phpmyadmin，查看数据表的生成
    在这里插入图片描述
  4. 登录portainer，重启相关报错容器后，全绿，进入各个容器查看日志是否报错
    在这里插入图片描述

注意：
（1）启动报错：发现我少写了 ngix 的yml，补充后，继续查看容器日志是否有报错的
（2）启动报错：2022-07-27 13:23:34.405268+00:00 [noti] <0.44.0> Application rabbit exited with reason: >>{{cannot_log_to_file,"/var/log/rabbitmq/rabbit@

解决思路：
groupadd rabbitmq
useradd -m -g rabbitmq rabbitmq
chown -R rabbitmq:rabbitmq /var/log/rabbitmq/
还是没解决，最后，我直接把yml里面的日志数据卷给删掉了，好气啊

（3）beat报错：因为我们没有在rabbitmq中创建test_plt，所以 beat连接不上自动就会报错
在这里插入图片描述

第八步、给环境导入本地调测的数据

（1）打开 mysql workbench，菜单 server 》 data export ，去勾选5张表，因为之前migrate的数据库已经有数据了，会产生冲突，导出数据后并压缩成 zip 文件
在这里插入图片描述

在这里插入图片描述
（2）将zip文件导入 phpmyadmin 中
在这里插入图片描述
在这里插入图片描述

部署过程相关报错

  1. kombu.exceptions.OperationalError: [Errno 111] Connection refused
    解决办法：代码没有连接到 rabbit，部署 rabbit 的账号密码跟连接 rabbitmq 的密码不一致，另外，在云服务器中，连接 rabbitmq 不能用 locahost,应该使用服务器ip
  2. failed to open log file at ‘/var/log/rabbitmq/rabbit@1a98467c8a3a_upgrade.log’, reason: permission denied
    解决办法：去掉数据卷log，避免报错，后续再看
阿_焦
关注
  • 2
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 2
    评论
专栏目录
Python全栈开发之Django项目在Linux系统如何部署
05-26
1.linux系统介绍 2.安装linux注意事项 3.配置局域网  需要通过软件远程操作linux系统 4.配置外网  下载软件 5.下载python解析器 6.安装虚拟环境 7.下载安装django框架
django项目在linux环境打包及部署
supreme_1226的博客
11-05 5579
django项目在linux环境打包及部署 文章目录django项目在linux环境打包及部署前言一、基础环境二、使用步骤1.conda环境安装2.django项目在linux上打包生成manage.spec上传linux打包总结 前言 本文主要记录django项目在linux中打包的情况： 例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。 提示：以下是本篇文章正文内容，下面案例可供参考 一、基础环境 linux服务器 xshe
快速上手：用五分钟部署Django项目到Linux服务器，保姆级教程！
m0_65592409的博客
04-11 1122
大家好，本篇文章我们将进行 django 项目部署到服务器上，这样其他人就可以轻松访问我们的项目了！
django部署Linux
危笑ioi
08-26 1020
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录前言一、pandas是什么？二、使用步骤1.引入库2.读入数据总结 前言 提示：这里可以添加本文要记录的大概内容： 例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。 提示：以下是本篇文章正文内容，下面案例可供参考 一、pandas是什么？ 示例：pandas 是基于NumPy 的一种工具，该工具是为了解决数据分析任务而创建的。 二、使用步骤 1.引入库 代码
Django从Windows迁移至Linux后启动报错
kennyz的专栏
11-11 76
直接在myproject目录下，输入 python3.7 -c "import myproject.settings" ，没有出现错误，应该不是包缺失的问题。但从抛出的错误，module name 为myproject.settings\r 后面多了一个“\r”的换行符。在使用Linux系统时，有时候会遇到一些不必要的r字符，这种字符通常是由Windows系统所使用的换行符引起的。这样就可以去除r字符。程序是从windows拷贝至Linux后，启动失败。修改启动脚本start.sh，去除换行符。
django-docker-tutorial:手把手的 django-docker-mysql-nginx-gunicorn 部署教程
05-01
这是教你手把手部署 Docker + Django + Mysql + Ngnix + Gunicorn 的傻瓜式教程，目的是让 Docker 菜鸟也能快速部署容器化的 Django 应用。教程传送门：注：两个版本是完全相同的。需要留言请前往个人博客。教程导航...
通过Django在web上实现xshell的功能
04-01
通过Django在web上实现xshell的功能 需安装requirements.txt中的包其中pywin32为twisted在windows上的依赖，linux不必安装。部署参见channels的文档。使用需执行python manage.py paramiko_proxy启动paramiko的代理...
使用Fabric自动化部署Django项目的实现
12-31
在上一篇教程中，我们通过手工方式将代码部署到了服务器。整个过程涉及到十几条命令，输了 N 个字符。一旦我们本地的代码有更新，整个过程又得重复来一遍，这将变得非常繁琐。 使用 Fabric 可以在服务器中自动执行...
django-dockerfile
07-01
该项目旨在实现一种简单的方法来启动和运行 Django。 假设您已经用了一两天时间设置了一个小型 Django 项目，现在您想将该项目推入生产环境。 但是，通过数据库设置、静态和媒体文件处理、安全性、备份等进行适当的...
DjangoBlog-master.zip
03-08
bin目录是在linux环境中使用Nginx+Gunicorn+virtualenv+supervisor来部署的脚本和Nginx配置文件.可以参考我的文章: DjangoBlog部署教程 有详细的部署介绍. 运行 修改DjangoBlog/setting.py 修改数据库配置，如下...
azure-webapp-python-Django
03-19
page_type描述语言产品样本一个最小的示例应用程序，可用于演示将Django应用程序部署到Linux上的Azure App Service。 Python天蓝色Azure应用服务适用于Azure App Service（Linux）的Python Django示例这是一个最小的...
django-project-template:开发任务和优化的集合，针对在 Django 中紧迫的期限内进行新闻应用程序开发的任何人
06-13
lib目录，其中包含一些我们最喜欢的代码片段和自定义 Django 管理命令 最低要求 该项目支持 Ubuntu Linux 14.04 和 Mac OS X Yosemite。 它未针对 Windows 操作系统进行测试或支持。 虚拟包装器 （可选） Node.js ...
高分毕业设计 基于Python+Django地理可视化系统源码+部署文档+全部数据资料
最新发布
04-23
高分毕业设计 基于Python+Django地理可视化系统源码+部署文档+全部数据资料高分毕业设计 基于Python+Django地理可视化系统源码+部署文档+全部数据资料高分毕业设计 基于Python+Django地理可视化系统源码+部署文档+...
基于django图书馆占座系统源码+项目部署说明+sql数据库.zip
08-09
基于django图书馆占座系统源码+项目部署说明+sql数据库.zip 基于django图书馆占座系统源码+项目部署说明+sql数据库.zip 基于django图书馆占座系统源码+项目部署说明+sql数据库.zip 【项目介绍】 该资源内项目代码都...
autoops：linux资产管理，cmdb，django，webssh，运维管理平台，数据库操作平台本项目已停止开发！因长期未对代码进行维护，可能会造成项目在不同环境上无法部署，运行BUG等问题，请告知！项目优先参考！
02-02
因长期未对代码进行维护，可能会造成项目在不同环境上无法部署，运行BUG等问题，请知悉！项目替代参考！因本人工作原因，此项目以后不提供更新及维护，项目替代参考。介绍AutoOps是一款基于2.0版django开发的工具，...
代码文件在linux和win之间复制时的注意事项
fenfeideliuyue的专栏
07-20 707
在linux系统上开发软件时，通常的做法是，在window系统中使用代码编辑工具编写好代码后，再复制到linux的交叉编译环境中进行编译；或者有时候从网上找到一些开源的代码，在window系统上使用编辑工具修改之后，再放到linux的交叉编译环境中进行编译。在这样操作的过程中，会经常遇到一些问题，如linux和window对文件命名规则的差异，导致文件复制出错。再或者代码文件在不同系统上编码格式的不同，而出现编译报错或代码乱码等。下面进行说明。一、文件系统、文件命名等的差异。
在linux服务器部署Django项目
喵酱
06-25 1530
django项目从本地迁移到linux服务器
将django部署到linux服务器
06-06
好的，这是一个常见的问题。下面是一些大致的步骤，用于将 Django 应用程序部署到 Linux 服务器上： 1. 在 Linux 服务器上安装 Python 和 pip（如果没有安装的话），这是 Django 运行的必要条件。 2. 在服务器上克隆您的 Django 应用程序 git 仓库，或者将您的应用程序代码上传到服务器。 3. 确保您的应用程序中的 settings.py 文件中的 ALLOWED_HOSTS 变量包括您的服务器的公共 IP 地址或域名。 4. 安装和配置 Nginx 以充当 Web 服务器。配置 Nginx，将请求转发到 Gunicorn。 5. 安装和配置 Gunicorn 作为 Django 应用程序的 WSGI 服务器。 Gunicorn 将接收 Nginx 转发的请求，并将其转发到 Django 应用程序。 6. 在服务器上运行 Django 应用程序的管理命令，如 makemigrations、migrate 和 collectstatic。 7. 启动 Nginx 和 Gunicorn 服务器，确保您的应用程序在服务器上正常运行。 这只是一个大致的步骤列表，实际上，每个步骤都需要更多的细节和配置。建议您查阅更多相关的文档和教程，以获得更详细的指导。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

阿_焦

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值