蓝鲸智云体系介绍1（20210802）

蓝鲸智云体系介绍1（20210802）

品牌介绍

IaaS PaaS SaaS

IaaS 基础设施即服务

PaaS 平台即服务

SaaS 软件即服务

工作量：I>P>S

对比蓝鲸体系

蓝鲸发行版本

社区版

永久免费开放

一键式快速部署

活跃的用户社区

完善的产品文档

企业版

企业定制化服务

原厂方案咨询

高可用维护保障

金融级安全防护

整体架构

PaaS平台

蓝鲸PaaS平台

【作用】

1.面向普通用户

提供了通用的基础服务，如登录认证、消息通知、其他产品的快捷入口(工作台)

2.面向开发人员

PaaS 平台为一个应用从创建到部署，再到后续的维护管理提供了完善的自助化和自动化服务，如日志查询、监控告警、运营数据等，从而使开发者可以将全部精力投入到应用的开发之中。

3.面向系统管理员

提供了用户管理(含角色管理)、服务器基本信息维护、第三方服务可视化管理、API 权限控制等功能，更好地维护和管理平台的可用性

各组件依赖及用途

PaaS的周边组件

Redis

Redis介绍

KEY-VALUE类型的内存数据库，整个数据库都加载在内存当中进行操作，定期通过异步操作把数据库数据flush到硬盘上进行保存。

纯内存操作，Redis的性能非常出色，每秒可以处理超过10万次读写操作。

虽然是内存数据库，但是其数据可以持久化，而且支持丰富的数据类型。

读写速率：CPU > 内存 > 磁盘

和MySQL比较

MySQL上层再加个redis，加快效率

四种模式

单机模式

单机模式顾名思义就是安装一个 Redis，启动起来，业务调用即可。例如一些简单的应用，并非必须保证高可用的情况下可以使用该模式。

【优点】

部署简单；

成本低，无备用节点；

高性能，单机不需要同步数据，数据天然一致性。

【缺点】

可靠性保证不是很好，单节点有宕机的风险。

单机高性能受限于 CPU 的处理能力，Redis 是单线程的。

主从复制模式

只要主从服务器之间的网络连接正常，主服务器就会将写入自己的数据同步更新给从服务器，从而保证主从服务器的数据相同。数据的复制是单向的，只能由主节点到从节点，简单理解就是从节点只支持读操作，不允许写操作。

【优点】

Master/Slave 角色方便水平扩展，QPS 增加，增加 Slave 即可；

降低 Master 读压力，转交给 Slave 节点；

成本低，无备用节点；

主节点宕机，从节点作为主节点的备份可以随时顶上继续提供服。

【缺点】

没有解决主节点写的压力。

整个主从切换过程需要人工干预。

哨兵模式

在主从复制的基础上，哨兵实现了自动化故障恢复。

1、监控：Sentinel 会不断地检查你的主服务器和从服务器是否运作正常

2、提醒：当被监控的某个 Redis 服务器出现问题时， Sentinel 可以通过 API 向管理员或者其他应用程序发送通知

3、自动故障迁移：当一个主服务器不能正常工作时， Sentinel 会开始一次自动故障迁移操作

【优点】

哨兵模式是基于主从模式的，所有主从的优点，哨兵模式都有

主从可以自动切换，系统更健壮，可用性更高

【缺点】

还是没有解决主节点写的压力。

主节点的写能力，存储能力受到单机的限制。

主从切换需要时间，可能会丢失数据

Redis Cluster

Redis Cluster 采用无中心结构，每个节点都可以保存数据和整个集群状态，每个节点都和其他所有节点连接。 Cluster 一般由多个节点组成，节点数量至少为 6 个才能保证组成完整高可用的集群，其中三个为主节点，三个为从节点。三个主节点会分配槽，处理客户端的命令请求，而从节点可用在主节点故障后，顶替主节点。

【优点】

无中心架构

节点间数据共享，节点可动态添加或删除，可动态调整数据分布。

高可用性，部分节点不可用时，集群仍可用。通过增加 Slave 做备份数据副本。

实现故障自动 failover，节点之间通过 gossip 协议交换状态信息，用投票机制完成 Slave 到 Master 的角色提升。

【缺点】

数据通过异步复制，无法保证数据强一致性。

集群环境搭建复杂。

Consul

Consul介绍

HashiCorp公司推出的开源工具，用于实现分布式系统的服务发现与配置。与

其他分布式服务注册与发现的方案，Consul的方案更"一站式"，内置了服务注册与发现框架、分布一致性协议实现、健康检查、Key/Value存储、多数据中心方案，不再需要依赖其他工具（比如ZooKeeper等）。

（充当DNS服务器）

主要功能

1.服务的注册和发现

2.Key value形式存储数据，配置文件处理

3.健康检查

4.多数据中心

RabbitMQ

介绍

MQ是 message queue 的简称，是应用程序和应用程序之间通信的方法。RabbitMQ是一个由erlang语言编写的、开源的、在AMQP基础上完整的、可复用的企业消息系统。

AMQP：advanced message queuing protocol ，一个提供统一消息服务的应用层标准高级消息队列协议，是应用层协议的一个开放标准，为面向消息的中间件设计。

消息发送模式

1.简单队列

生产者发送消息，消费者获取消息。一个队列对应一个消费者。

2.工作队列

一个生产者多个消费者。多消费者并行处理消息，提升处理速度。

3.发布/订阅模式

将消息发送到交换机，队列从交换机获取消息，队列需要绑定到交换机

4.路由模式

5.主题模式

镜像模式

非常经典的 mirror 镜像模式，保证 100% 数据不丢失。在实际工作中也是用得最多的，并且实现非常的简单，一般互联网大厂都会构建这种镜像集群模式。

mirror 镜像队列，目的是为了保证 rabbitMQ 数据的高可靠性解决方案，主要就是实现数据的同步，一般来讲是 2 - 3 个节点实现数据同步。对于 100% 数据可靠性解决方案，一般是采用 3 个节点。

Elasticsearch

介绍

Elasticsearch 是一个非常强大的搜索引擎。它目前被广泛地使用于各个IT公司。Elasticsearch 是由 Elastic 公司创建。

同时，Elastic 公司也拥有 Logstash 及 Kibana 开源项目。这个三个开源项目组合在一起，就形成了 ELK 软件栈。他们三个共同形成了一个强大的生态圈。简单地说：ElasticSearch 负责数据的存储；Logstash 负责数据的采集，处理（丰富数据，数据转换等）；Kibana 负责数据展，分析及管理。

概念

集群(cluster)：由一个或多个节点组成, 并通过集群名称与其他集群进行区分。

节点(node)：单个 ElasticSearch 实例。

索引(index)：一组文档的集合。

分片(shard)：索引通常都会分解成不同部分, 而这些分布在不同节点的数据就是分片。

副本(replica)：ES 默认为一个索引创建 5 个主分片, 并分别为其创建一个副本分片. 也就是说每个索引都由 5 个主分片成本, 而每个主分片都相应的有一个 copy

集群节点、分片和副本

数据逻辑结构图

PaaS-Agent

各组件依赖及用途

GSE平台

概念&能力

蓝鲸管控平台，是整个蓝鲸平台的底层管控系统，是蓝鲸所有其他服务的基础，是蓝鲸服务体系与用户机器的连接器。

在整个蓝鲸体系中，蓝鲸管控平台作为蓝鲸的底层管控通道，没有提供独立的接口供用户直接访问调用，而是通过蓝鲸 ESB 能力向上提供服务，供上层平台或者 SaaS 去实现场景赋能。

蓝鲸管控平台主要提供了三种类型的服务能力：文件传输能力、实时任务执行能力、数据采集与传输的能力。

术语

GSE: General Service Engine

Agent: 蓝鲸平台Agent, 部署在目标上的代理程序。（有且只有一个GSE）

TaskServer: 任务及控制服务端

FileServer: 文件传输控制服务端（BT协议）

DataServer: 数据传输服务端

DB Proxy: Redis 集群管理模块

ApiServer: 对外提供api的服务程序

AlarmServer: 告警服务程序

ProcMgrServer: 进程管理服务程序

SyncDataServer: 数据同步服务程序

DataOpsServer: 数据传输服务运营监控程序

TransitServer: 跨云数据转发程序

Agent: 强大的执行代理（所有平台共用一个GSE Agent，有且只有一个）

TaskServer: 海量的管控能力

FileServer: 高效的BT传输

DataServer: 大数据处理能力

任务执行

支持多种脚本类型：如 shell, bat, powershell, ksh, python , pert 等。

指定用户执行：Linux 及其他类 Linux 系统支持按指定用户执行任务；为 Windows 操作系统的限制，只有开启校验机器密码功能的用户才能指定用户执行任务，否则都以 SYSTEM 用户执行任务。

有害操作：能够对高危操作进行预警，高危操作的定义及干预措施提供选项供用户配置。

多个TaskServer共同写入，百万级并发

文件传输

支持三种传输模式：

•BT 模式：对于 > 10KB 的文件，GSE平台自动启用 BT 作为首选的传输方式。

•直传模式：对于 < 10KB 的文件，将直接使用 TCP 数据流进行直接传输。（类似点对点）

•混合模式：在 BT 模式下，如果发生 BT 传输持续性失败，则会尝试使用直传模式进行传输 BT 文件分片，当 BT 传输恢复时，则自动切换到 BT 模式。

文件最大效果越明显，传输目标越多越快

支持的OS类型

各组件依赖及用途