Greenplum 带ORCA 优化器的编译安装解析

最新推荐文章于 2024-05-06 21:46:53 发布
最新推荐文章于 2024-05-06 21:46:53 发布
阅读量811 收藏 1
点赞数
分类专栏： Greenplum组件工具 文章标签： 数据库 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/gp_community/article/details/105116862
版权

了解更多Greenplum技术干货，欢迎访问Greenplum中文社区网站

ORCA是开源的Postgres和Greenplum的优化器，相比于Greenplum和Postgres内置的优化器，ORCA在复杂查询以及分区表等场合有非常好的性能提升。这里介绍下如何使Greenplum启用ORCA优化器，以及如何运行Greenplum的测试用例installcheck-world。

设置开发环境

在开始之前需要装编译和运行的依赖，包括Greenplum和ORCA的依赖。这里采用的编译环境以CentOS 7为例。首先安装系统包，执行的命令如下：

sudo yum -y groupinstall "Development Tools"
sudo yum -y install readline-devel zlib-devel curl-devel apr-devel libevent-devel libxml2-devel bzip2-devel python-devel openssl-devel which iproute net-tools perl-Env wget
sudo yum install -y epel-release centos-release-scl
sudo yum install -y python-pip python-psutil cmake3
sudo yum install -y devtoolset-6-toolchain
sudo yum install -y xerces-c-devel
最低0.47元/天 解锁文章
Greenplum中文社区
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
zstd安装_「实战系列」Greenplum 带 ORCA 优化器的编译安装解析
weixin_28718345的博客
01-02 316
ORCA 是开源的 Postgres 和 Greenplum 的优化器，相比于 Greenplum 和 Postgres 内置的优化器，ORCA 在复杂查询以及分区表等场合有非常好的性能提升。这里介绍下如何使 Greenplum 启用 ORCA 优化器，以及如何运行 Greenplum 的测试用例 installcheck-world。设置开发环境在开始之前需要装编译和运行的依赖，包括 Green...
Greenplum源码编译安装ORCA握手失败解决 - Caused by SSLError(SSLError(&quot；bad handshake: ...)
专注数据库、大数据领域干货分享，用严谨的数据技术广交天下朋友。
05-03 1720
场景：Greenplum在Mac上源码编译安装的时候，首先需要安装ORCA，安装ORCA的过程中，报错了。报错内容：ChrisdeMacBook-Pro:depends chris$ makeCONAN_USER_HOME=/Users/chris/git/gpdb/depends conan install --build=missing conanfile_orca.txtorca/v2.56...
（论文阅读-优化器）Orca: A Modular Query Optimizer Architecture for Big Data
最新发布
junerli的博客
05-06 887
注意group2的best plan需要对T2按照T2.b进行hash-distribute，由于T2原始数据是按照T2.a进行hash-distributed的，而group1的best plan是简单的scan，因为T1已经在T1.a进行了hash-distributed。Group的成员，被称为group expressions，会用不同的逻辑方式（例如，不同的join orders）来达成这个group的目标。目前，这些努力只支持SQL标准特性的一个子集，而且它们的优化仅限于基于规则的。
Greenplum ORCA 优化器的编译安装与使用
weixin_34392906的博客
07-16 790
背景 ORCA 是PostgreSQL的下一代优化器，在QUERY的优化上比自带的优化器有长足的进步。 https://github.com/greenplum-db/gporca 安装ORCA cmake wget https://cmake.org/files/v3.5/cmake-3.5.2.tar.gz tar -zxvf cmake-3.5...
greenplum--orca查询优化器详解1
08-04
greenplum--orca查询优化器详解1
Greenplum Orca 优化器目录结构
那海蓝蓝的博客
03-13 1553
├─cmake              构建相关├─data               测试数据├─libgpdbcost        代价模型│  ├─include│  │  └─gpdbcost│  └─src├─libgpopt│  ├─include         头文件│  │  └─gpopt        ...│  └─src│      ├─base        实现
GreenPlum优化器Orca论文笔记
Aegeaner的专栏
12-10 3182
一、简介Orca特性 模块化 可扩展性 适应多核 可验证性 性能 二、预备知识MPP（大规模并行处理） Share-nothing计算结构 两个以上的协调处理器 每个处理器有自己的内存，OS和硬盘 Master负责数据库实例之间的工作协调，每部分数据处理和存储的工作称为Segements。 当查询提交到master，查询会被优化并拆分为小的部分，并被分发为Segments。 通过网络层互联，实现Se
PB基于ORCA技术的自动化编译发布脚本
08-18
使用脚本对PB程序进行编译，可以自动从SVN下载最新程序，然后编译，再打包，以及发布，对于PB需要实现自动化部署的同学们可以研究一波， 唯一的缺陷目前没有找到自动申请管理员权限的办法.
greenplum5.6源码，可以编译安装
05-22
让我们一起探讨如何编译和安装Greenplum 5.6源码。 首先，你需要一个兼容的开发环境。Greenplum通常运行在Linux操作系统上，如Ubuntu或CentOS。确保你的系统已经更新并且安装了必要的依赖库，包括GCC编译器、Make...
在Centos7上安装greenplum 6
03-21
centos7.*安装greenplum6.*的详细过程 注意： 1、仅适用于centos7，其他操作系统版本，本文档可能执行出问题 2、按照操作步骤说明，严格在master上执行或是segment上执行 3、过程中如果中断退出，继续执行是出现...
基于Greenplum数据库的查询优化
03-30
《基于Greenplum数据库的查询优化》这篇文章探讨了在大数据环境下，如何提高分布式数据库查询效率的问题，特别是针对Greenplum数据库。随着数据规模的增长，查询效率通常会下降，因此研究提出了一个基于代价的最优...
Orca安装程序包编辑器
09-18
vs打包后，属性中的打开文件位置按钮无反应，通过这个编辑工具，只需要用这个工具打开打包后的msi文件，只要找到 FileName 名字 为:我们远行桌面快捷方式对应的 .exe 文件,然后复制表File字段的值,找到Shortcut选项，重点设置就是这里Terget【红框内】:把刚才的复制的值 粘帖此处,前后分别要加上"[#"、"]" ,即公式:[#+复制的值+]。修改后保存文件，就可成功
greenplum5.8源码，来源于GitHub，可以编译安装
05-22
绿盟Greenplum 5.8源码...总之，Greenplum 5.8源码的编译安装过程涉及多个环节，理解其核心特性和编译原理对于数据库管理员和开发人员来说至关重要。通过深入学习和实践，您将能够充分利用这个强大的大数据分析平台。
centos7 geenplum5.x postgis开源版本编译
草宝虫的博客
11-02 545
下载5.1 https://codeload.github.com/greenplum-db/gpdb/tar.gz/5.1.0 基础环境 tar xzvf gpdb-5.1.0.tar.gz cd gpdb-5.1.0 参照README.md、README.amazon_linux准备依赖 yum install -y epel-release yum install -y python-pip sudo yum -y install git gcc readline-devel zlib-devel l
Centos7环境Greenplum5.17源码编译-开启gporca优化器功能
建模分析师胡选来
03-13 1189
centos 7 //安装gp依赖库 yum groupinstall "Development tools" -y yum install zlib-devel openssl-devel bzip2-devel curl-devel libxml2 libxml2-devel readline-devel python-devel perl perl-ExtUtils-Embed ntp p...
GPORCA学习笔记(0)——GPORCA编译及源码分析（更新ing）
wangxingxing2006的专栏
02-28 3508
1 简介GPORCA是开源项目greenplum的下一代优化器，里面借鉴了Cascades Optimizer方式实现的一套优化器，ORCA实现了Enforcer机制、并行优化、优化退出机制、完整的测试以及对Cost Model不断学习改进框架。下面主要是学习优化框架是如何实现，以及并行优化的逻辑。2 ORCA优化器主要代码学习2.1 简单编译 安装cmake wget https://cma
linux7 kernel.sem,CentOS 7中手动编译Greenplum
weixin_42339061的博客
05-16 372
目录一、编译环境二、编译过程2.1、下载greenplum源码2.2、解压2.3、安装必备的工具2.4、配置ld.so.conf2.5、创建gpadmin用户和配置ssh2.6、修改内核参数2.7、编译GPORCA2.8 安装greenplum三、错误处理四、参考资料五、其他一、编译环境Linux version 3.10.0-327.el7.x86_64 (builder@kbuilder.de...
海量数据处理利器greenplum——初识
08-17 518
简介及适用场景 如果想在数据仓库中快速查询结果，可以使用greenplum。 Greenplum数据库也简称GPDB。它拥有丰富的特性： 第一，完善的标准支持：GPDB完全支持ANSI SQL 2008标准和SQL OLAP 2003 扩展；从应用编程接口上讲，它支持ODBC和JDBC。完善的标准支持使得系统开发、维护和管理都大为方便。而现在的 NoSQL，NewSQL和Hadoo...
开源大数据引擎：Greenplum 数据库架构分析
karamos的专栏
01-07 5421
Greenplum 数据库是最先进的分布式开源数据库技术，主要用来处理大规模的数据分析任务，包括数据仓库、商务智能（OLAP）和数据挖掘等。自2015年10月正式开源以来，受到国内外业内人士的广泛关注。本文就社区关心的Greenplum数据库技术架构进行介绍。一. Greenplum数据库简介大数据是个炙手可热的词，各行各业都在谈。一谈到大数据，好多人认为就是Hadoop。实际上Hadoop只是大...
greenplum编译安装
09-02
要编译和安装Greenplum数据库，您可以按照以下步骤进行操作： 1. 首先，确保您的系统满足Greenplum的要求。Greenplum支持在Linux系统上运行，如CentOS或Ubuntu。您应该有root访问权限以安装软件包并更改系统设置。 2. 下载Greenplum软件包。您可以从Greenplum官方网站（https://greenplum.org/）下载最新版本的软件包。选择适合您的操作系统和架构的版本。 3. 解压软件包。将下载的软件包解压到您选择的目录中。您可以使用命令行或图形界面工具进行解压。 4. 创建一个用户组和一个用户来运行Greenplum。建议为Greenplum创建一个专用用户和组，以提供更好的安全性和管理。您可以使用以下命令创建用户组和用户： ``` sudo groupadd gpadmin sudo useradd -m -g gpadmin gpadmin ``` 5. 设置环境变量。编辑gpadmin用户的bash配置文件（通常是~/.bashrc或~/.bash_profile），添加以下行： ``` export MASTER_DATA_DIRECTORY=/data/gpdata # 定义Greenplum的数据目录 export PATH=$PATH:/usr/local/greenplum/bin # 添加Greenplum可执行文件路径 ``` 确保将路径`/usr/local/greenplum/bin`替换为您解压缩软件包的路径。 6. 执行安装脚本。使用gpadmin用户登录，并执行以下命令安装Greenplum： ``` cd /path/to/greenplum ./configure --prefix=/usr/local/greenplum make sudo make install ``` 请确保将`/path/to/greenplum`替换为您解压缩软件包的路径。 7. 初始化Greenplum集群。执行以下命令初始化Greenplum集群： ``` source /usr/local/greenplum/greenplum_path.sh # 加载Greenplum环境变量 gpseginstall -f /path/to/hostfile # 使用主机文件安装Greenplum段 ``` 请确保将`/path/to/hostfile`替换为包含所有Greenplum段主机的文本文件路径。 8. 启动Greenplum集群。执行以下命令启动Greenplum集群： ``` gpstart -a ``` 9. 验证安装。您可以使用以下命令验证Greenplum是否成功安装： ``` ps -ef | grep postgres ``` 如果看到与Greenplum相关的进程，则表示安装成功。 这些是编译和安装Greenplum的基本步骤。请注意，这只是一个简要的指南，具体步骤可能因您的系统和需求而有所不同。有关更详细的说明，请参阅Greenplum官方文档或在社区中寻求帮助。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值