8a V95技术白皮书——GBase8aMPPCluster 高级特性(1)

最新推荐文章于 2024-10-04 02:07:04 发布
最新推荐文章于 2024-10-04 02:07:04 发布
阅读量571 收藏
点赞数
文章标签： kafka 数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/aisirea/article/details/127047991
版权
本文详细介绍了GBase 8a MPP Cluster的数据加载特性，包括与集群的集成、SQL接口、多数据源并行加载、多种文件传输协议支持等。同时，文章阐述了Kafka数据集成过程，通过Oracle Golden Gate和GBase RTSync工具实现数据同步，确保事务数据一致性。
摘要由CSDN通过智能技术生成

数据加载及集成

数据加载

GBase 8a MPP Cluster 中，集群加载功能直接集成在 GBase 8a MPP Cluster 内部，不需要额外部署外部加载工具。

数据加载具备如下一些特性和优点： 1）与集群高度集成；

  1. 面向用户的 SQL 接口方式更符合用户的使用习惯；

  1. 支持单表多数据源并行加载，支持多加载机对单表的并行加载，最大 化提升加载性能；
  2. 支持从通用数据服务器拉取数据，支持ftp/sftp/hdfs/Kafka/http/https 等多种文件传输协议；
  3. 支持普通文本、gzip 压缩、snappy 压缩、lzo 压缩等多种格式数据文件；
  4. 支持普通文本、定长文本、宽松模式的加载；
  5. 支持用户自定义列分割符、行分隔符和日期时间格式；
最低0.47元/天 解锁文章
aisirea
关注
8a V95技术白皮书——GBase8aMPPCluster 产品简介
aisirea的博客
09-26 249
8a V95技术白皮书——GBase8aMPPCluster 产品简介
8a V95技术白皮书——GBase8aMPPCluster 高级特性(6)
aisirea的博客
10-24 114
8a V95技术白皮书——GBase8aMPPCluster 高级特性
常问的OGG问题
u011868279的博客
03-21 2111
常问的OGG问题
8a V95技术白皮书——GBase8aMPPCluster 高级特性(7)
aisirea的博客
10-24 124
7 GBase 8a MPP Cluster 开发接口 集群接口驱动可以有效实现对上层应用请求的负载进行均衡（应用调用接口驱动的连接串中配置多个集群管理节点的 IP，接口驱动的内部进行连接的负载均衡）。应用层请求响应节点完成 SQL 解析并生成执行计划，协调集群相关节点并发参与计算和处理，极大地提高了整个集群节点的并发度，充分发挥了集群性能。 GBase 8a MPP Cluster ODBC GBase 8a MPP Cluster ODBC 是 GBase 8a MPP Cluster 的 ODB
8a V95技术白皮书——GBase8aMPPCluster 产品架构
aisirea的博客
09-26 222
图 2-1 GBase 8a MPP Cluster 产品架构图 GBase 8a MPP Cluster 采用 MPP + Shared Nothing 的分布式联邦架构， 节点间通过 TCP/IP 网络进行通信，每个节点采用本地磁盘来存储数据。实现非对称部署，分布式管理集群、分布式调度集群、分布式计算集群支持独立部署和混合部署。系统中的每一个节点都是相对独立的、自给的，整个系统中不存在单点瓶颈，具有非常强的扩展性。 由于没有资源共享，增加节点就可以线性地扩展数据容量和计算能力，可以从几个节点扩展到上千
8a V95技术白皮书——GBase8aMPPCluster 高级特性（4）
aisirea的博客
09-26 96
全文检索 GBase 8a MPP Cluster数据库支持全文检索，由于默认采用全单字索引方式，支持几乎所有的语种，并且可以保证 100%的查询召回率。结合 GBase 8a MPP Cluster独特的列存储，压缩和智能索引技术，适合面向海量数据的检索查询应用。 支持对外部存储文档建立全文索引并提供检索，支持的文档格式如 txt、doc、XML、HTML、PDF、xls等。 主要功能包括： 建立索引与搜索 在 GBase8aMPPCluster中内嵌全文检索引擎，支持表中所有文
8a V95技术白皮书——GBase8aMPPCluster 高级特性（3）
aisirea的博客
09-26 78
数据安全 4.3.1数据加密 GBase 8a MPP Cluster 数据加密是提供对数据库落地数据的加密功能，用来满足用户的安全需求，提高系统的安全性。数据加密按照数据文件中的 DC 数据块为最小单位进行，可以实现表级或者列级不同粒度的加密要求。 图 4-3 数据加密流程数据加密支持如下特性： 支持加密关键字 encrypt 建表 支持表级或者列级不同粒度的加密要求 支持表加密属性的查询 支持密钥证书管理 包括密钥证书的创建、打开、关闭、口令修改、密钥转换操作 支持密钥类
8a V95技术白皮书——GBase8aMPPCluster 高级特性(5)
aisirea的博客
10-24 159
5 GBase 8a MPP Cluster 运行环境和技术指标 硬件环境 支持如下的硬件环境： 1) 支持服务器平台：x86_64 的标准 PC 服务器、PowerLinux 服务器、浪潮 K1、华为泰山、中科曙光海光等； 2) 支持存储：本地存储（SATA、SAS、SSD 等）、阵列存储（SAN、NAS）、SSD、Flash 卡； 3) 支持网络环境：千兆、万兆、InfiniBand。 操作系统和平台 支持如下的操作系统和平台： 1) 支持的 CPU：Intel、AMD、
8a V95技术白皮书——GBase8aMPPCluster 高级特性(2）
aisirea的博客
09-26 106
虚拟集群及镜像集群 4.2.1虚拟集群 虚拟集群以大规模集群为基础开发，一个集群中包含多个虚拟子集群（VC）。各 VC 在整个集群范围内独立运行，共享统一的入口。权限许可的情况下，各虚拟集群间可以相互访问。 支持 Coordinator node（包含 Gcluster node 和 Gcware node）和 VC 的data node 在同一个物理节点上。 统一管理 在集群内部进行虚拟集群划分，在增强集群的扩展能力同时，提供统一的管理视图，集群可以达到千节点规模。 集群统一访问入口 图 4-2
Kafka快速实战与基本原理详解
xajh_czbk的博客
09-29 649
消费消息：但是迟迟没有消费（因为kafka默认是从消费者启动之后开始消费，也就是说刚才发的那条消费不到，原因是那个时候消费者还没有启动。）我们现在启动了消费者了，可以尝试发消息了。另一种消费方式：指定从哪里消费。刚才第一次消费的时候没有消费test1，原因上面有写。这里的这个命令就可以消费到全部了,因为指定了从哪里消费。说白了，队列里的消息只能被同一个消费者组里面的一个消费者消费。关键他还可以重复消费。启动好了kafka之后，我们再去看ZK中的节点多了这些。创建一个主题并看一下：有了主题后就可以发消息了。
大数据-153 Apache Druid 案例 从 Kafka 中加载数据并分析
永远好奇，无限进步！
09-29 2431
Apache Druid 从 Kafka 中获取数据并进行分析的流程通常分为以下几个步骤：Kafka 数据流的接入： Druid 通过 Kafka Indexing Service 直接从 Kafka 中摄取实时流数据。Kafka 是一个高吞吐量的消息队列，适合处理大量实时数据。Druid 会订阅 Kafka 的 topic，每当新数据到达时，它会自动从 Kafka 中读取数据。
kafka
最新发布
qq_41893505的博客
10-04 1081
Kafka 通过 ACK 机制、ISR 副本同步、持久化存储、Leader 选举、幂等性、事务性支持以及消费者的 offset 管理等多个机制共同确保了消息在生产、传输、存储和消费各个环节的可靠性。这些设计让 Kafka 能够在分布式环境中提供高可用、高可靠的消息传输服务。
Python知识点：如何使用Kafka与Python进行流数据处理
码农超哥的博客
09-29 680
通过库，Python可以轻松地与Kafka集成，实现流数据的生产和消费。无论是简单的数据传输还是复杂的流处理任务，Kafka与Python的结合都能提供强大的支持。请注意，以上示例假设你已经有一个运行中的Kafka服务器，并且是Kafka服务的地址。在实际部署中，你需要根据实际环境配置Kafka服务器的地址和端口。最后，说一个好消息，如果你正苦于毕业设计，点击下面的卡片call我，赠送定制版的开题报告和任务书，先到先得！过期不候！
Kafka和RabbitMQ区别
weixin_37788102的博客
09-29 415
延迟消息是指生产者发送消息发送消息后，不能立刻被消费者消费，需要等待指定的时间后才可以被消费。
Kafka：架构与核心机制
J老熊
09-28 1804
Apache Kafka 是一种高吞吐量的分布式消息队列，广泛应用于实时数据流处理和大数据架构中。本文将详细探讨 Kafka 的架构、Replica 管理、消息读取、分区策略、可靠性保障等核心机制。
使用微服务Spring Cloud集成Kafka实现异步通信
月亮的技术博客
09-29 1258
在微服务架构中，使用Spring Cloud集成Apache Kafka来实现异步通信是一种常见且高效的做法。Kafka作为一个分布式流处理平台，能够处理高吞吐量的数据，非常适合用于微服务之间的消息传递。
黑马头条day6-kafka及异步通知文章上下架
m0_48362854的博客
09-28 606
今天任务比较水 主要是kafka入门和 文章上下架 以及异步通知article同步到app的前端数据需要重新看一下（使用步骤并不是很复杂 kafka主要解决高并发）
kafka发送消费核心参数与设计原理详解
xajh_czbk的博客
09-29 476
如果是false，就是说消费完后不提交位移。也就是说比如之前消费的1-5.第N次还是消费到1-5.如果是false。那么第一次消费1-3，第二次消费4-5：默认是true:我们一般用false。因为会有消息丢失和消息重复消费的问题可能发生。那么我们就得手设置提交了：比如我们设置了false，那么下面这个自动提交间隔参数就没用了。
GBase8aMPPCluster SQL参考手册-南大通用数据技术股份有限公司
"这篇文档是关于GBase 8a MPP Cluster的SQL参考手册，由南大通用数据技术股份有限公司编写并拥有版权。GBase 8a MPP Cluster是一款分布式数据库系统，支持大规模并行处理（MPP）架构。手册包含了SQL语言的基础知识，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值