自动化运维平台Spug介绍

一、概要

在这里插入图片描述
Spug是一款使用Python+Flask+React+Ant Design Ui开发的开源运维管理系统,系统前后端分离,项目创建于2017年,2018 年 2 月第一个开源运维平台版本发布,设计为面向中小型企业设计的轻量级无Agent的自动化运维平台,UI基于Ant Design设计,整合了主机管理、主机批量执行、主机在线终端、应用发布部署、在线任务计划、配置中心、监控、报警等一系列功能,且二次开发很方便。它采用授权协议AGPL-3.0,使用开发语言Python JavaScript;软件采用无 Agent 设计,只需简单部署就可完成。

Spug 主要特性:

批量执行: 命令在线批量执行
文件管理: 主机文件在线上传下载
在线终端: 主机支持浏览器在线终端登录
任务计划: 灵活的任务计划,支持间隔执行,一次性执行,Crontab 风格执行
发布部署: 支持自动创建应用,支持工单流程发布,标准发布、自定义发布等
配置中心: 支持 KV、文本、Json 等格式的配置
监控中心: 支持站点、端口、进程、自定义脚本等监控方式
报警中心: 支持短信、邮件、钉钉、微信等报警方式
优雅美观: 基于 Ant Design 的 UI 界面
开源免费: 前后端代码完全开源

关联资源官网官方用户使用手册GithubGitee更新日志FAQ相关博客视频教程

Demo: https://demo.spug.dev

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

二、部署

1)3.x版本环境依赖

Python 3.6+
Django 2.2,Django 2.2 Sqlite 的版本最低要求为 3.8.3
Node 12.14
React 16.11
Docker
Mysql 5.6及以上
自 v2.3.9 开始 ,Git 版本需要 2.17.0+ (影响新建常规发布申请单)

2)Docker方式部署( Centos7.x为例)

#Docker安装
$ yum install -y yum-utils
$ yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo
$ yum install docker-ce docker-ce-cli containerd.io
$ systemctl start docker

#拉取/下载阿里云项目镜像,阿里云的镜像与 Docker hub 同步更新,国内用户建议使用阿里云的镜像。官方镜像内置了 Mysql 数据库,也可以使用外部数据库(Mysql 5.6+)
#配置阿里云镜像地址
vim /etc/docker/daemon.json
{
  "registry-mirrors": ["https://registry.cn-hangzhou.aliyuncs.com"]
}
$ docker pull registry.cn-hangzhou.aliyuncs.com/openspug/spug
$ docker image ls|grep spug  #验证
registry.cn-hangzhou.aliyuncs.com/openspug/spug   latest           
#
vi docker-compose.yml  #编写如下
version: "3.3"
services:
  db:
    image: mariadb:10.8.2
    container_name: spug-db
    restart: always
    command: --port 3306 --character-set-server=utf8mb4 --collation-server=utf8mb4_unicode_ci
    volumes:
      - /data/spug/mysql:/var/lib/mysql
    environment:
      - MYSQL_DATABASE=spug
      - MYSQL_USER=spug
      - MYSQL_PASSWORD=spug.cc
      - MYSQL_ROOT_PASSWORD=spug.cc
  spug:
    image: openspug/spug-service
    container_name: spug
    privileged: true
    restart: always
    volumes:
      - /data/spug/service:/data/spug
      - /data/spug/repos:/data/repos
    ports:
      # 如果80端口被占用可替换为其他端口,例如: - "8000:80"
      - "80:80"
    environment:
      - MYSQL_DATABASE=spug
      - MYSQL_USER=spug
      - MYSQL_PASSWORD=spug.cc
      - MYSQL_HOST=db
      - MYSQL_PORT=3306
    depends_on:
      - db 
#启动容器
# 第一种:持久化存储启动容器
# 其中,/spug 指的是映射宿主机本地的磁盘路径,/data是容器内代码和数据初始化存储的路径,使用-v /spug:/data制定映射到容器外,进行持久化
$ docker run -d --restart=always --name=spug -p 80:80 -v /spug:/data registry.cn-hangzhou.aliyuncs.com/openspug/spug
# 如果需要在spug内使用docker命令则需要添加额外的参数
$ docker run -d --restart=always --name=spug -p 80:80 -v /spug/:/data -v /var/run/docker.sock:/var/run/docker.sock -v /usr/bin/docker:/usr/bin/docker registry.aliyuncs.com/openspug/spug

#进入容器,完成项目初始化;该过程会创建一个用户名为 admin 密码为 spug.dev 的管理员账户,可自行替换管理员账户。
$ docker exec spug init_spug admin spug.dev  #如果提示连接数据失败,再次执行尝试
# 执行完毕后需要重启容器
$ docker restart spug

##使用外部 Mysql

$ docker exec -it spug bash  #进入容器

#修改配置文件使----->访问外部数据库
$ vi /data/spug/spug_api/spug/overrides.py  #如下所示:

DATABASES = {
    'default': {
        'ATOMIC_REQUESTS': True,
        'ENGINE': 'django.db.backends.mysql',
        'NAME': 'spug',
        'USER': 'spug',  # 修改为外部数据库的用户
        'PASSWORD': 'spug.dev',  # 修改为外部数据的用户密码
        'HOST': 'localhost',    # 修改为外部数据的ip
        'OPTIONS': {
            'unix_socket': '/var/lib/mysql/mysql.sock',   # !!!删除该行
            'charset': 'utf8mb4',
            'sql_mode': 'STRICT_TRANS_TABLES',
        }
    }
}

#停止容器内的数据库服务
$ vi /etc/supervisord.d/spug.ini
# 找到如下行并删除
[program:mariadb]
command = /usr/libexec/mysqld --user=mysql
autostart = true

#退出并重启容器
$ exit
$ docker restart spug

## 默认更新到最新版本;spug 是容器名称,也可以替换为自己的容器ID

$ docker exec -i spug python3 /data/spug/spug_api/manage.py update 

# 更新完成后重启容器
$ docker restart spug

【使用一键部署脚本部署】:

$ curl https://spug.dev/installer/spug-installer | bash

注意:

#默认代码安装路径:
/data/spug
/
#默认创建的数据库账号
用户:spug
密码:spug.dev
#默认创建的系统管理员
账户:admin
密码:spug.dev

3)访问测试

在浏览器中输入 http://localhost:80 访问。默认用户名: admin 密码: spug.dev
在这里插入图片描述
可以在 系统管理/系统设置/关于 中查看当前运行的 Spug 版本,可以在 更新日志 查看当前最新版本。
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

1>部署登陆常见问题,单击参看

4)手动部署

#拉取项目
$ git clone https://github.com/openspug/spug /data/spug
或git clone https://gitee.com/openspug/spug
$ cd /data/spug
$ git checkout x.x.x   # x.x.x 为指定的发行版本,例如:git checkout v2.2.2 

#将下载好的前端压缩包解压到指定目录,假设web_x.y.z.tar.gz
$ tar xf web_x.y.z.tar.gz -C /data/spug/spug_web/

#创建运行环境
# 安装依赖,如需要使用常规发布功能,则需要安装 git v2.17.0+
$ yum install mariadb-devel python3-devel gcc openldap-devel redis nginx supervisor
# 创建虚拟环境
$ cd /data/spug/spug_api
$ python3 -m venv venv
$ source venv/bin/activate
# 安装python包
$ pip install -U pip -i https://pypi.tuna.tsinghua.edu.cn/simple/
$ pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple/
$ pip install gunicorn mysqlclient -i https://pypi.tuna.tsinghua.edu.cn/simple/

#修改后端配置;后端默认使用的 Sqlite 数据库,通过修改配置使用 MYSQL 作为后端数据库;
#在 spug_api/spug/ 目录下创建 overrides.py 文件,启动后端服务后会自动覆盖默认的配置,避免直接修改 settings.py 以便于后期获取新版本
$ vi spug_api/spug/overrides.py

DEBUG = False

DATABASES = {
    'default': {
        'ATOMIC_REQUESTS': True,
        'ENGINE': 'django.db.backends.mysql',
        'NAME': 'spug',             # 替换为自己的数据库名,请预先创建好编码为utf8mb4的数据库
        'USER': 'spug_user',        # 数据库用户名
        'PASSWORD': 'spug_passwd',  # 数据库密码
        'HOST': '127.0.0.1',        # 数据库地址
        'OPTIONS': {
            'charset': 'utf8mb4',
            'sql_mode': 'STRICT_TRANS_TABLES',
            #'unix_socket': '/opt/mysql/mysql.sock' # 如果是本机数据库,且不是默认安装的Mysql,需要指定Mysql的socket文件路径
        }
    }
}

#初始化数据库
$ cd /data/spug/spug_api
$ python manage.py updatedb

#创建默认管理员账户
$ python manage.py user add -u admin -p spug.dev -s -n 管理员  #-s 超级管理员,-n 用户昵称

# 创建启动服务脚本
$ vi /etc/supervisord.d/spug.ini

[program:spug-api]
command = bash /data/spug/spug_api/tools/start-api.sh
autostart = true
stdout_logfile = /data/spug/spug_api/logs/api.log
redirect_stderr = true

[program:spug-ws]
command = bash /data/spug/spug_api/tools/start-ws.sh
autostart = true
stdout_logfile = /data/spug/spug_api/logs/ws.log
redirect_stderr = true

[program:spug-worker]
command = bash /data/spug/spug_api/tools/start-worker.sh
autostart = true
stdout_logfile = /data/spug/spug_api/logs/worker.log
redirect_stderr = true

[program:spug-monitor]
command = bash /data/spug/spug_api/tools/start-monitor.sh
autostart = true
stdout_logfile = /data/spug/spug_api/logs/monitor.log
redirect_stderr = true

[program:spug-scheduler]
command = bash /data/spug/spug_api/tools/start-scheduler.sh
autostart = true
stdout_logfile = /data/spug/spug_api/logs/scheduler.log
redirect_stderr = true

#创建前端nginx配置文件;、如果没有在 spug.conf 中指定 server_name 则需要把 /etc/nginx/nginx.conf 中默认的 server 块注释或删除后才能正常访问, 否则会打开 Nginx 默认页面
$ vi /etc/nginx/conf.d/spug.conf

server {
        listen 80;
        server_name _;     # 修改为自定义的访问域名
        root /data/spug/spug_web/build/;
        client_max_body_size 20m;   # 该值会影响文件管理器可上传文件的大小限制,请合理调整

        gzip  on;
        gzip_min_length  1k;
        gzip_buffers     4 16k;
        gzip_http_version 1.1;
        gzip_comp_level 7;
        gzip_types       text/plain text/css text/javascript application/javascript application/json;
        gzip_vary on;

        location ^~ /api/ {
                rewrite ^/api(.*) $1 break;
                proxy_pass http://127.0.0.1:9001;
                proxy_read_timeout 180s;
                proxy_redirect off;
                proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
        }

        location ^~ /api/ws/ {
                rewrite ^/api(.*) $1 break;
                proxy_pass http://127.0.0.1:9002;
                proxy_http_version 1.1;
                proxy_set_header Upgrade $http_upgrade;
                proxy_set_header Connection "Upgrade";
                proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
        }

        location / {
                try_files $uri /index.html;
        }
}

#启动服务
# 设置开机启动
$ systemctl enable nginx
$ systemctl enable redis
$ systemctl enable supervisord
$ systemctl restart nginx
$ systemctl restart redis  #请确保Redis仅监听在 127.0.0.1
$ systemctl restart supervisord

## 默认更新到最新版本
$ cd spug_api
$ source venv/bin/activate
$ python manage.py update
# 重启服务
$ supervisorctl restart all

注意:确保服务端接收到请求 HTTP Header 的 X-Real-IP 为真实的客户端地址,Spug 会使用该 IP 提高安全性(当登用户的 IP 发生变化时 Token 自动失效。

更多参见官网文档介绍
https://github.com/openspug/spug/issues/38

5)平台功能概览

1>主机管理:可以对主机进行管理、主机也可以通过表格批量导入
在这里插入图片描述
2>批量在线执行:可以执行模版命令和临时命令,例如经常执行的安装、更新、初始化的脚本或者命令就可以保存成模版来方便的快速批量执行。
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述
3>文件在线上传下载:可以很方便的在执行命令过程中上传或者下载需要的文件
在这里插入图片描述
4>在线终端:在线终端方便平台远程调试,跟本地执行一样
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
5>应用部署:可以快速部署任意开发语言的的应用,例如PHP、Java、Nodejs、Go等
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
6>监控报警:支持常见的网站监控,也可以针对主机的进程、端口进行监控,如果端口、进程监控满足不了需要,可以自己写脚本进行监控,报警支持钉钉、微信、邮件、企业微信、(短信报警下个版本支持)
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

:可查询最近30天内的报警记录,超过30天的报警记录会被自动删除,且通道沉默期发送的报警信息不会被记录。另外,监控实例删除后,告警信息不会同步删除;

目前,Spug 运维平台已集成推送助手替代原先内置的推送服务;Spug仅同步推送助手里语音、短信、邮件和微信公众号类型的推送对象。集成推送助手是可选的,除上述特性外对 Spug 运维平台功能无任何其他影响,如果不需要上述功能可忽略。为了平衡技术服务与运营成本,原内置服务将于 2024年5月31日 停止服务并切换至推送助手,如果使用了内置的邮件和微信告警/MFA验证功能届时将会受到影响,如未使用相关功能则可忽略。更多参看集成推送助手说明

7>配置管理:(支持KV,txt,json等格式)
在这里插入图片描述
在这里插入图片描述

8>任务计划:
在这里插入图片描述

三、附录:

1)Python中Django和Flask框架的区别

在这里插入图片描述
它们是ython编程语言的世界里,功能最强大、最流行的两个框架。不仅在web后端开发、微服务开发,同时在ERP系统开发、API接口开发等领域,这两个框架也应用非常广泛。

关于两者的区别,网络流行一个生动的比喻就是:Django类似于精装修的房子,自带豪华家具、非常齐全功能强大的家电,什么都有了,拎包入住即可,十分方便。而Flask类似于毛坯房,自己想把房子装修成什么样自己找材料,买家具自己装。材料和家具种类非常丰富,并且都是现成免费的,直接拿过去用即可。

Flask:

小巧、灵活,让程序员自己决定定制哪些功能,非常适用于小型网站。
对于普通的工人来说将毛坯房装修为城市综合体还是很麻烦的,使用Flask来开发大型网站也一样,开发的难度较大,代码架构需要自己设计,开发成本取决于开发者的能力和经验。

如果想搞懂Python web开发WSGI协议原理以及实现过程、或者你想灵活定制组件,完全DIY你的应用、想实现微服务,那么建议你选择Flask。

Django:

大而全,功能极其强大,是Python web框架的先驱,用户多,第三方库极其丰富。

非常适合企业级网站的开发,但是对于小型的微服务来说,总有“杀鸡焉有宰牛刀”的感觉,体量较大,非常臃肿,定制化程度没有Flask高,也没有Flask那么灵活。

如果关注产品的最终交付、想快速开发一个大的应用系统(比如新闻类网站、商城、ERP等),那么建议你选择Django,你想得到的功能它都有,想不到的功能它也有。

2)阿里云镜像仓库访问失败:Error response from daemon……Client.Timeout exceeded while awaiting headers
docker pull registry.aliyuncs.com/openspug/spug #报错如下

Using default tag: latest
Error response from daemon: Get “https://registry.aliyuncs.com/v2/openspug/spug/manifests/latest”: Get “https://dockerauth.cn-hangzhou.aliyuncs.com/auth?scope=repository%3Aopenspug%2Fspug%3Apull&service=registry.aliyuncs.com%3Acn-hangzhou%3A26842”: net/http: request canceled while waiting for connection (Client.Timeout exceeded while awaiting headers)

需要单独配置使用Registry的独立登录密码。而Registry的登陆密码是在容器镜像服务的控制台上设置与修改的,如下所示:
在这里插入图片描述
之后报错:FIXME: Got an API for which error does not match any expected type!!,是网络问题,直接出公网就没说,暂未找到原因,换如下方式:
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

SPUG是一个功能强大的在线任务计划工具,它能够帮助我们实现自动化配置、实时监控和实时报警。 首先,SPUG可以帮助我们进行在线的任务计划。我们可以通过SPUG来设置各种任务,并指定任务的执行时间、频率和相关参数。无论是定时执行的任务还是循环执行的任务,SPUG都能够准确地按照设定的计划来执行,并能够提供详细的执行日志和报告,方便我们随时查看任务的执行情况。 其次,SPUG可以帮助我们实现自动化配置。我们可以通过SPUG来集中管理服务器和应用程序的配置文件,并且可以对配置文件进行版本控制和追踪。这样,当我们需要修改配置时,只需要在SPUG上进行相应的修改,然后SPUG会自动将新的配置文件分发到指定的服务器上,实现配置的自动化部署和更新,大大减少了手动操作的工作量和错误发生的概率。 另外,SPUG还具备实时监控的功能。它可以监控服务器的运行状态、应用程序的性能指标和各种资源的使用情况。一旦发现异常或超过阈值的情况,SPUG会立即发出警报,通知相应的负责人员或群组。这样,我们可以及时发现问题并采取相应的措施,避免因问题而导致的服务中断或性能下降。 最后,SPUG还能够实时报警。除了通过监控来发现异常并发出警报外,SPUG还支持自定义的报警条件和动作。我们可以根据自己的需求来设置报警规则,例如当服务器的CPU使用率超过80%时发出警报,或者当应用程序的响应时间超过1秒时发出警报。一旦触发了报警条件,SPUG会立即发送通知给指定的人员,并提供相应的告警信息和处理建议,确保问题能够及时得到处理和解决。 综上所述,SPUG能够为我们提供方便实用的在线任务计划、自动化配置、实时监控和实时报警功能,帮助我们简化运维工作,提高系统的稳定性和可靠性。
评论 16
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

羌俊恩

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值