360开源mysql_奇虎360开源基于Kubernetes管理平台 Wayne

近日奇虎 360 宣布正式开源 Wayne ,这是一个由 360 搜索云平台团队开发的通用的、基于 Web 的 Kubernetes 多集群一站式可视化管理平台。内置了丰富多样的功能,满足企业的通用需求,同时插件化的方式可以方便集成定制化功能。目前 Wayne 已大规模服务于 360 搜索,承载了内部绝大部分业务,稳定管理了近千个业务,上万个容器,运行了两年多时间,经受住了生产的考验。

GitHub:https://github.com/Qihoo360/wayne

fad6ff5b6e088b53d714b3fe4af4f8a7.png

简介

Wayne是一个Kubernetes的可视化管理平台,通过直观的页面操作便可完成Kubernetes中资源的创建、部署等操作。

采用微内核架构,通过插件化的方式将不同功能尽量的分离,更利于各种定制化功能的扩展。

在此基础上,融入了部门、项目的概念,通过RBAC的方式细化了资源控制的权限,适合建立企业内部的私有云平台。

功能特性

可视化操作:提供直观、简便的方式操作Kubernetes集群,减小学习成本,快速上线业务。

多样的编辑模式:支持图形化编辑,也支持Json、Yaml两种高级定制化编辑模式。

微内核架构:采用可扩展的插件化方式开发,定制化选择特性功能,更方便的集成符合企业需求的新功能。

多集群管理:可以同时管理多个Kubernetes集群,更方便地管理多个集群。

丰富的权限管理:将资源抽象化为部门、项目级别,角色的权限可以更细化的控制,适用于多部门、多项目的统一集中管理。

多种登录模式:支持企业级LDAP登录、支持OAuth2登录,支持数据库登录多种模式。

完备的审计:所有操作都会有完整的审计功能,方便追踪操作历史。

开放平台:支持APIKey开放平台,用户可自主申请相关APIKey并管理自己的项目。

多层次监控:提供多级别的监控统计信息,实时关注集群的运行状态。

组件

Web UI: 提供完整的业务开发和平台运维功能体验。

Worker: 扩展一系列基于消息队列的功能,例如 Audit 和 Webhooks 等审计组件。

项目依赖

Golang 1.9+(installation manual)

Docker 17.05+ (installation manual)

Bee (installation manual) (请务必使用链接版本,不要使用 beego 官方版本,存在一些定制)

Node.js 8+ and npm 5+ (installation with nvm)

MySQL 5.6+ (Wayne 主要数据都存在 MySQL 中)

RabbitMQ (可选,如需扩展审计功能,例如操作审计和 Webhooks 等,则需部署)

架构

项目整体采用前后端分离的方案实现。

前端采用Angular框架进行数据交互和展示,使用Ace编辑器进行Kubernetes资源模版编辑。

后端采用Beego框架做数据接口处理,持久层采用MySQL存储,使用client-go与Kubernetes进行交互。

d745dd8952d4e1ef0b9d9761ef3aa92a.png

使用Kubernetes部署

生产环境中推荐使用 kubernetes 部署

克隆代码仓库

$ git clone https://github.com/Qihoo360/wayne

安装依赖环境(可选)

Wayne 依赖 MySQL 和 RabbitMQ,其中 MySQL 是必须的服务,用户存储系统的各种数据,RabbitMQ 是可选的,主要用户扩展审计功能使用。

$ kubectl apply -f hack/kubernetes/dependency

数据未进行持久化,生产环境一定要做数据持久化,避免数据丢失

配置configmap

在 hack/kubernetes/wayne/configmap.yaml中按照配置文档配置好相关的信息(例如数据库链接等信息)

如果使用的是hack/kubernetes/dependency中启动的MySQL 和 RabbitMQ 服务,可以暂时不修改配置文件。默认配置文件中通过集群内部域名访问MySQL 和 RabbitMQ。

启动Wayne

$ kubectl apply -f hack/kubernetes/wayne

现在可以通过下面地址访问:

$ http://yourip:NodePort

由于前后端使用 JWT Token 通信,生产环境一定要重新生成 RSA 文件,确保安全。生成 rsa 加密对命令如下:

$ ssh-keygen -t rsa -b 2048 -f jwtRS256.key

$ # Don't add passphrase

$ openssl rsa -in jwtRS256.key -pubout -outform PEM -out jwtRS256.key.pub

配置集群

参考集群配置配置好 Kubernetes 集群访问信息。

配置 Namespace 可访问集群

必须配置Namespace可访问集群才可在前台创建相关的资源。

HustStore- 高性能分布式存储服务huststore 是一个高性能的分布式存储服务,不但提供了 10w QPS 级别的 kv 存储的功能,还提供了 hash、set 等一系列数据结构的支持,并且支持 二进制 的 kv 存储,可以完全取代 Redis 的功能。此外,huststore 还结合特有的 HA 模块实现了分布式消息队列的功能,包括消息的流式推送,以及消息的 发布-订阅 等功能,可以完全取代 RabbitMQ 的功能。特性huststore 分为 hustdb 以及 HA 模块两大部分。hustdb (存储引擎)的底层设计采用了自主开发的 fastdb,通过一套独特的 md5 db 将QPS 提升至 10w 级别的水准(含网络层的开销)。HA 以 nginx 模块的方式开发。nginx 是工业级的 http server 标准,得益于此,huststore 具备以下特性:高吞吐量hustdb 的网络层采用了开源的 libevhtp 来实现,结合自主研发的高性能 fastdb 存储引擎,性能测试 QPS 在 10w 以上。高并发参考 nginx 的并发能力。高可用性huststore 整体架构支持 Replication (master-master),支持 load balance 。HA 的可用性由nginx 的 master-worker 架构所保证。当某一个 worker 意外挂掉时, master 会自动再启动一个 worker 进程,而且多个 worker 之间是相互独立的,从而保证了 HA 的高可用性。huststore 的高可用性由其整体架构特点保证。由于 hustdb 的存储节点采用了 master-master 的结构,当某一个存储节点挂掉时,HA 会自动将请求打到另外一台 master,同时 HA 会按照自动进行负载均衡,将数据分布存储在多个 hustdb节点上,因此存储引擎不存在单点限制。同时 HA 集群本身也是分布式的设计,而且每个 HA 节点都是独立的,当某一台 HA 挂掉时, LVS 会自动将请求打到其他可用的 HA 节点,从而解决了 HA 得单点限制。通用性的接口huststore 使用 http 作为通用协议,因此客户端的实现不限制于语言。支持二进制的 key-value架构设计运维架构存储引擎设计依赖leveldblibcurllibevhtpzlog 标签:360  分布式存储
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值