ManGe Commander 文档 v0.3

最新推荐文章于 2024-09-09 07:28:30 发布

Man-Li

最新推荐文章于 2024-09-09 07:28:30 发布

阅读量265

点赞数

分类专栏：项目文章标签：运维

本文链接：https://blog.csdn.net/Man_ge/article/details/128098954

版权

项目专栏收录该内容

20 篇文章 0 订阅

订阅专栏

ManGe Commander (指挥官)

作者: 李漫

产品所有人: 李漫

主页: commander.mange.work

邮箱: 2912882908@qq.com

一、版本

发布版本 v0.3
文档版本 v0.3
内部版本 v0.2.20221130

二、简介

ManGe Commander 是轻量级一站式DevOps平台，是持续部署、持续集成的解决方案，也是服务器管理、操作、监控的解决方案，支持服务器在线终端，同时集成了Docker，Nginx等在线管理，支持快速部署网络代理和网络转发。

定位

运维工具
部署软件
开发相关软件
服务器管理工具
在线管理工具

产品目的

提升运维效率
降低运维成本
学习简单上手快
提升部署效率
精准监控与报警系统
开发相关软件集成提升开发、测试、运维工作效率

三、架构介绍

功能架构: 采用master/slave机制,master一对多的管理slave,为了高可用master支持集群；

master: 主要功能是提供操作界面(web UI)，分发任务到slave，收集并分析slave上报的采集服务器数据进行监控，下发服务器的操作指令，网络地址注册中心等

slave: 主要功能是守护进程，docker操作，系统操作，采集服务器的性能数据，自动维护项目等

master与salve间的通讯: 数据交互使用UDP+TCP 实现的自定义通讯协议，下载上传文件使用http/s协议

功能架构图:

在这里插入图片描述

网关: L4负载均衡，网络转发与代理(连接复用+池化技术+SO_REUSEPORT，中转耗时<1ms,抗高并发); 黑白名单,ip限流;应用场景:水平扩展微服务等等.

网关架构图:

在这里插入图片描述

四、应用场景

服务器监控
CI/CD
docker管理
服务器可执行文件部署与进程管理
服务器在线操作
网关服务
Web TTY
[TODO]基于P2P分布式存储
[TODO]NAT penetration(内网穿透)
[TODO]CDN servers
[TODO]Proxy IP servers 管理中心

五、下载地址

master

日期	版本	地址	版本说明	支持平台
20221130	v0.3	http://commander.mange.work/download	ManGe Commander 文档 v0.3	unix、linux、macos、windows
20221111	v0.2	http://commander.mange.work/download	ManGe Commander 文档 v0.2	unix、linux、macos、windows
20221024	v0.1	http://commander.mange.work/download	ManGe Commander 文档 v0.1	unix、linux、macos、windows

slave

日期	版本	地址	版本说明	支持平台
20221130	v0.3	http://commander.mange.work/download	ManGe Commander 文档 v0.3	unix、linux、macos
20221111	v0.2	http://commander.mange.work/download	ManGe Commander 文档 v0.2	unix、linux、macos
20221024	v0.1	http://commander.mange.work/download	ManGe Commander 文档 v0.1	lunix、linux、macos

六、使用说明篇

1. 部署

1.1 部署Master

下载并在Master服务器上执行 ./master 即可

配置文件说明

# http server 端口
httpServer:
  prod: 18888

# udp server 端口
udpServer:
  prod: 16666

# tcp server 端口
tcpServer:
  prod: 17777

# 可执行文件保存路径
exeStoreHousePath: "/media/data/exeStoreHouse"

# 项目的可执行文件保存路径
projectPath: "/media/data/projectPath"

# JWT  secret & expire
jwt:
  secret: asdasd786251ashdgjdbd
  expire: 86400

# 数据持久化保存路径
# data 常规数据持久化
# performance 性能采集持久化
dbPath:
  data: "/media/data/master_db/data.db"
  performance: "/media/data/master_db/performance.db"

1.2 部署Slave

例如：拥有四台服务器， 192.168.0.9, 192.168.0.190, 192.168.0.191, 192.168.0.192

下载 slave_linux, 分别上传到每个服务器上

root@mange-PC:/home/mange# scp -r 'slave_linux_v0.1.2' 192.168.0.190:/home/
root@192.168.0.190's password: 
slave_linux                                                                                        100%   12MB  39.7MB/s   00:00    
configs.yaml                                                                                       100%  485   462.0KB/s   00:00    
root@mange-PC:/home/mange# scp -r 'slave_linux_v0.1.2' 192.168.0.191:/home/
root@192.168.0.191's password: 
slave_linux                                                                                        100%   12MB  39.9MB/s   00:00    
configs.yaml                                                                                       100%  485   453.8KB/s   00:00    
root@mange-PC:/home/mange# scp -r 'slave_linux_v0.1.2' 192.168.0.192:/home/
root@192.168.0.192's password: 
slave_linux                                                                                        100%   12MB  61.5MB/s   00:00    
configs.yaml                                                                                       100%  485   543.4KB/s   00:00    
root@mange-PC:/home/mange#

在各个服务器上修改配置 configs.yaml

# master UDP 通讯地址
master:
  host: 192.168.0.9
  port: 16666

# master HTTP通讯地址
masterHttp: "http://192.168.0.9:18888"

# 可执行文件保存路径
exeStoreHousePath: "/home/exeStoreHousePath_Linux/"

# 可执行文件日志保存路径
exeStoreHouseLogs: "/home/exeStoreHouseLogs/"

# 项目的可执行文件保存路径
projectExeStoreHousePath: "/home/projectExeStoreHousePath_Linux/"

# 数据持久化保存路径
dbPath:
  data: "/home/slave_linux_db/data.db"

执行 ./slave_linux

看见日志有打印主机信息则启动成功

2022-10-19 22:24:35 |Info  |f=slave_linux/handler/host.go:48 | 主机名称 = node1
2022-10-19 22:24:35 |Info  |f=slave_linux/handler/host.go:51 | 系统平台 = linux
2022-10-19 22:24:35 |Info  |f=slave_linux/handler/host.go:54 | 系统版本 os_name+版号 = Linux version 3.10.0-1160.45.1.el7.x86_64 (mockbuild@kbuilder.bsys.centos.org) (gcc version 4.8.5 20150623 (Red Hat 4.8.5-44) (GCC) ) #1 SMP Wed Oct 13 17:20:51 UTC 2021
2022-10-19 22:24:35 |Info  |f=slave_linux/handler/host.go:57 | 系统架构 = amd64
2022-10-19 22:24:35 |Info  |f=slave_linux/handler/host.go:60 | CPU核心数 = 8核
2022-10-19 22:24:35 |Info  |f=slave_linux/handler/host.go:63 | CPU name = Intel(R) Xeon(R) CPU           E5606  @ 2.13GHz

在master 首页上可见到Slave(服务器的信息)

在这里插入图片描述

2. 登录与安全

web操作界面安全方案

定期更新账号密码
白名单
暴力登录检验，一个ip只有五次试错机会，超过拉黑ip

master 与 slave 通讯安全方案

非对称加密

首次启用master会到注册界面(账号只注册一次，数据持久在 db文件，重置db文件等用于恢复出厂设置)，见图:

在这里插入图片描述

登录界面进行登录，采用无状态登录JWT方案，见图:

在这里插入图片描述

登录错误超过限制次数，见图:

在这里插入图片描述

登录成功后跳转到首页

在这里插入图片描述

3. 主页

首页分为功能图标区域与Slave列表;

【Slave(服务器)数量】：显示总服务器数量与在线服务器数量，点击进入【Slave】页面

【项目数量】：显示当前已经创建并运行的项目数量，点击进入【项目】页面

【报警数量】：显示当前报警的数量，报警来自于各个主机的性能超过监控指标和各个异常的提示，点击进入【监控管理】

【网关数量】：显示当前部署的网关数量，这里的网关是“commander“自带的，主要用于网络转发代理负载均衡，是基于L4的，点击进入【网关】

【可执行文件】：显示当前可执行文件数量，这里的可执行文件是上传到master的可执行文件，可以对可执行文件进行指定部署，监控，管理，在线修改配置等操作，点击进入【可执行文件管理】

【Docker】：该按钮点击可进入【Docker管理】

【使用手册(TODO)】：点击访问mange.work的“commander”的社区->在线使用文档

【社区(TODO)】：点击访问mange.work的“commander”的社区

【ManGe主页】：点击访问mange.work

Slave(服务器) 列表：显示slave的基本信息，与加载页面时Slave采集的性能值CPU与MEM，还有操作按钮点击直接执行对其含义的功能。

在这里插入图片描述

4. Slave

服务器的可视化面板操作界面，可以在线操作和管理服务器，如图:

在这里插入图片描述

【进程列表】 : 能查看进程信息与操作进程，如图:

在这里插入图片描述

【端口使用列表】 : 能查看端口使用信息与操作占用端口的进程，如图:

在这里插入图片描述

【环境变量】 : 能查看环境变量(TODO:在线增删改查系统环境变量)，如图:

在这里插入图片描述

【Docker管理】 : 进入该服务器的docker管理界面，如果服务未部署则没有任务信息，如图:

在这里插入图片描述

【Hosts管理】：在线修改hosts文件，如图:

在这里插入图片描述

【实时性能监控】：可以实时监控服务器性能

在这里插入图片描述

5. 记录

任务列表和操作记录，如图：

在这里插入图片描述

6. 项目

项目是"commander"的特色功能，也是最核心的功能。

功能

部署可执行文件到指定主机
调度管理基于容器的项目，将镜像部署到多个或指定主机上
金丝雀发布更新镜像版本
通过"commander"自带网关功能代理与负载容器
CI/CD
水平扩展副本，减少副本

项目管理界面, 项目可以理解为k8s的“Deployments”, 如图:

在这里插入图片描述

【新建Docker容器项目】 :

网关转发原则: 网关端口 -> 注册中心(容器随机映射的端口) -> 容器端口

故:

【网关服务端口映射】网关端口:容器端口

【项目占用端口】 *:容器端口(容器端口映射则是随机)

如下图，部署一个web服务,创建4个副本，会均匀部署到所有在线的Slave，web服务端口是12300, 创建一个网关代端口是12225部署到192.168.0.9上

在这里插入图片描述

部署成功后如下图

在这里插入图片描述

访问 192.168.0.9:12225
【查看容器列表】：可以看到项目所有容器的信息

在这里插入图片描述

现在需要升级镜像到v2版本，点击【更新镜像】，如图

在这里插入图片描述

更新成功后，访问 192.168.0.9:12225
【更改副本数量】：可以水平扩展容器或减少容器数量，这里的容器分布都是均匀分布到各个Slave(服务器)上，如图

在这里插入图片描述

验证可以查看【查看容器列表】
【查看容器列表】上可以查看容器日志点击【查看日志】，如图

在这里插入图片描述

【查看容器列表】上可以实时监控容器性能点击【实时监控性能】，如图

在这里插入图片描述

【查看网关】点击可以进入【网关管理页面】

7. Docker 管理

能对docker进行远程管理

Docker基础信息

在这里插入图片描述

Docker容器列表

在这里插入图片描述

Docker镜像列表

在这里插入图片描述

部署容器 : 例如部署一个nginx

在这里插入图片描述

拉取镜像

在这里插入图片描述

容器 - 查看容器详情

在这里插入图片描述

容器 - 停止与停止并删除容器

在这里插入图片描述

容器 - 查看容器日志

在这里插入图片描述

容器 - 查看进程

在这里插入图片描述

容器 - 修改容器名称

在这里插入图片描述

容器 - 重启容器
容器 - 实时监控容器

在这里插入图片描述

镜像 - 查看详情

在这里插入图片描述

镜像 - 部署这个镜像

在这里插入图片描述

8. 可执行文件管理

顾名思义就是在一个指定的服务器上部署可执行文件

“commander” 规定: 可执行文件进行压缩上传(zip,rar)，规定必须含有可执行文件，可含有相关配置文件，相关扩展目录等。

页面

在这里插入图片描述

新建可执行文件

在这里插入图片描述

修改配置文件

在这里插入图片描述

部署执行

在这里插入图片描述

运行列表 - 查看日志

在这里插入图片描述

10. 网关管理

"commander"自带网关，主要用于转发，负载， LVS是L4

未来TODO: 创建，管理，黑白名单，手动转发，拦截，防御，安全，内网穿透, p2p桥接等功能

页面如下:

在这里插入图片描述

11. 缓存管理

“commander” 数据持久化是自带嵌入式数据库，无需第三方数据库。

该功能主要提供，持久化数据重置删除

“commander” 数据持久化配置 , master配置文件 configs.yaml

# 数据持久化保存路径
# data 常规数据持久化
# performance 性能采集持久化
dbPath:
  data: "/media/data/master_db/data.db"
  performance: "/media/data/master_db/performance.db"

在这里插入图片描述

12. 监控管理

对各个Slave(服务器)进行监控与监控指标设置

"commander"的报警通知方案: 在线使用websocket, 离线使用邮件或钉钉

页面

在这里插入图片描述

创建监控规则

在这里插入图片描述

修改监控规则

点击监控标准列表的【修改】即可

13. 在线终端

可以直接在 commander 建立服务器的 ssh 终端，进行操作服务器

在这里插入图片描述

14. 网络代理

网络代理分为 http/s代理创建与删除， socket5代理创建与删除， ssh代理与删除，tcp转发，udp转发这5个模块

在这里插入图片描述

15. 软件部署

软件部署主要功能是一键式部署软件卸载软件，可以部署Docker,Nginx等软件

在这里插入图片描述

16. 服务器目录文件管理

可以直接浏览查看服务器的目录与文件，上传文件到服务器，创建目录，解压压缩文件，打包下载整个目录

在这里插入图片描述

17. nginx管理

直接对服务器上的nginx进行操作管理，重启，停止，修改配置，查看日志，后期会增加自动nginx运维功能

在这里插入图片描述

七、场景篇

7.1 CI/CD

创建一个项目， 4个副本，会均匀部署到所有在线的Slave，web服务端口是12300, 创建一个网关代端口是12225部署到192.168.0.9上，如下图:

在这里插入图片描述

部署成功后如下图

在这里插入图片描述

访问 192.168.0.9:12225
查看容器列表, 可以看到项目所有容器的信息

在这里插入图片描述

现在需要升级镜像到v2版本，点击【更新镜像】，如图

在这里插入图片描述

更新成功后，访问 192.168.0.9:12225

7.2 服务水平扩展

更改副本数量, 可以水平扩展容器或减少容器数量，这里的容器分布都是均匀分布到各个Slave(服务器)上，如图

在这里插入图片描述

验证可以查看【查看容器列表】

7.3 执行爬虫程序

将爬虫程序编辑成可执行文件
与配置文件一起打包到压缩文件
在【可执行文件管理】页面新建可执行文件

在这里插入图片描述

点击部署执行

在这里插入图片描述

也可以查看日志
也可以进入目录修改配置文件，再次部署执行

在这里插入图片描述

结果:

在这里插入图片描述

7.4 在线终端

在服务器控制或在主页的服务器列表上有【在线终端】的入口，点击输入ssh连接信息即可进入终端

在这里插入图片描述

7.5 在线部署Docker

在软件部署页面能看到Docker的安装部署，点击安装即可

在这里插入图片描述

7.6 在线部署Nginx

在软件部署页面能看到Nginx的安装部署，点击安装即可

在这里插入图片描述

7.7 创建TCP转发

在网络代理页面，点击创建TCP网络转发

在这里插入图片描述

如下图可见创建成功

在这里插入图片描述

在浏览器上输入这个转发服务的地址

在这里插入图片描述

4.网络转发可以修改转发表，常用场景是流量切换

八、商业篇(20221024拟定)

目前 ManGe Commander 发布版本都是社区版，项目目前不对外开源，如果后期有收益才会开源；
ManGe Commander 永久支持免费的社区版，项目开源由收益决定；收益方案分为出售与项目维护基金会；
商业合作联系: 18483663083(李漫)；
商业版以出售技术的形式转让给第三方，但无法破坏社区版永久免费的规定；
项目基金维护会：以使用者捐赠的形式捐赠给项目基金维护会，项目基金维护会所有人是李漫(18483663083)，基金由李漫待管理，用于项目的维护和迭代；
未来畅想1: 为了项目持久发展与创新，未来一定会开源，邀请各路开发大佬加入这个项目，做大做强；
未来畅想2: 由于是有一定收益才会开源，能走到开源这一步说明该项目是具有一定的价值，开源后参与项目维护和迭代的大佬也会得到相应的报酬，才有利于项目的长久发展。
个人开发项目群
ManGe Commander 社区版交流群

九、参考

k8s
docker
Jenkins
nginx

十、规划

20221201 到 20230110 ：生产环境使用与测试
20230214 ： 0.4版本
20230330 ： 0.5版本

Man-Li

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
ManGe Commander 文档 v0.3

ManGe Commander 是轻量级一站式DevOps平台，是持续部署、持续集成的解决方案，也是服务器管理、操作、监控的解决方案，支持服务器在线终端，同时集成了Docker，Nginx等在线管理，支持快速部署网络代理和网络转发。功能架构: 采用master/slave机制,master一对多的管理slave,为了高可用master支持集群；
复制链接

扫一扫