![](https://img-blog.csdnimg.cn/20190904142230630.jpg?x-oss-process=image/resize,m_fixed,h_224,w_224)
Greenplum
文章平均质量分 84
本专栏主要介绍Greenplum集群数据加载及部分Greenplum集群管理相关内容
奋斗, 拼
生活创造数据,数据改变生活。
展开
-
Greenplum Streaming Server(GPSS)安装配置
简介:Greenplum流服务器(GPSS)管理客户端(如:Greenplum- Kafka )和Greenplum数据库之间的通信和数据传输。在使用该服务将数据加载到Greenplum数据库之前,必须先配置并启动GPSS实例。 1. 安装前准备条件 Greenplum流服务器gpss和gpsscli命令行工具,在安装Greenplum数据库版本5.16及其以上版本时,已自动安装在其中,无需进...原创 2019-07-24 17:22:52 · 3850 阅读 · 0 评论 -
Greenplum Stream Server(GPSS)介绍
1.GPSS简介 Greenplum Stream Server (GPSS)是一个ETL(提取、转换、加载)工具。GPSS服务器的一个实例从一个或多个客户机接收流数据,使用Greenplum数据库可读的外部表将数据转换并插入到目标Greenplum表中。数据源和数据格式是特定于客户机的。数据源和数据格式由客户端指定。 Greenplum Stream Serve...原创 2019-09-04 14:04:50 · 3267 阅读 · 1 评论 -
greenplum数据入库方式总结及性能对比
1.greenplum入库方式总结 greenplum目前主要使用到的入库方式有如下4种: 使用insert into方式入库 使用gpss方式入库 使用gpkafka方式入库 使用gpcopy方式入库 2.以上入库方式优缺点及性能对比 详细优缺点及性能对比如下: 入库方式 优点 缺点 入库性能 ...原创 2019-08-22 18:14:31 · 6306 阅读 · 1 评论 -
Greenplum高可用(副本)启用
1. 启用Primary Segment副本 1.1添加的副本Mirror Segment与Primary Segment位于同一台主机 创建用于存储mirror节点数据目录,注意目录不能和primary的数据目录相同; 如:/data/primary用于存储primary数据,/data/mirror用于存储mirror数据。 确保主机之间能够免密登录; 使用gpaddmir...原创 2019-08-13 11:42:31 · 1817 阅读 · 0 评论 -
Greenplum Streaming Server(GPSS)自定义客户端开发
1. GPSS服务定义 将以下内容复制到gpss.proto文件中,如下: syntax = "proto3"; import "google/protobuf/empty.proto"; import "google/protobuf/struct.proto"; import "google/protobuf/timestamp.proto"; package api; option...原创 2019-08-07 10:57:04 · 1755 阅读 · 2 评论 -
Greenplum Command Center监控安装
1.下载软件 软件下载地址:https://network.pivotal.io/products/pivotal-gpdb/#/releases/422445/file_groups/1919 这里下载greenplum-cc-web-4.7.0-LINUX-x86_64.zip· 2.创建gpcc gpperfmon数据库 2.1 切换到gpadmin用户 # su - gpadm...原创 2019-07-30 17:57:44 · 999 阅读 · 0 评论 -
greenplum集群安装(包含greenplum集群高可用配置)
写在前面:本集群安装包含master启用高可用、单机多segment、segment 备份节点(mirror)启用。Greenplum数据库版本,建议选择5.x,目前6.x版本未进入正式版本,暂不建议进入生产环境。目前已测试版本为greenplum-5.16。 1. 软件下载 greenplum官方下载地址:https://network.pivotal.io/products/pivotal...原创 2019-07-30 15:23:46 · 1778 阅读 · 1 评论 -
Greenplum数据库优化实践:数据入库性能优化
调整greenplum并发数 greenplum数据库的并发数,需要根据服务器硬件情况(如:cpu、内存等)进行调整,以使数据库性能达到最优。 greenplum数据中涉及到并发数的参数,在postgresql.conf文件中,具体如下: 参数1:max_connections - 最大连接数 。变更的话,master和segment都要修改,且segment中该值需要是master的3-5...原创 2019-07-09 15:58:29 · 3580 阅读 · 1 评论 -
解决Greenplum数据库Master节点产生日志过多问题
1.原因分析 greenplum集群master节点产生日志过大原因:greenplum数据库,由于所有的用户请求,都要经过master节点,并且默认情况下master节点会把CREATE,ALTER,DROP ,INSERT,UPDATE,DELETE,TRUNCATE和COPY FROM等操作详细日志信息记录在$MASTER_DATA_DIRECTORY/pg_log目录下,并且日志级别也较...原创 2019-07-10 10:44:15 · 2587 阅读 · 0 评论 -
Greenplum Kafka 集成
本文主要介绍如何配置和使用Greenplum-Kafka集成 1.介绍 Greenplum-Kafka集成使用Greenplum Stream Server来提供从Apache Kafka到Greenplum数据库的高速并行数据加载入库。 Greenplum-Kafka集成包括gpkafka工具,gpkafka工具是kafka的comsumer。gpkafka支持两个命令: gpkafka...原创 2019-09-23 16:52:51 · 2803 阅读 · 1 评论