Enguei_99-CSDN博客

原创 DataX和oushudb

文章目录DataX概述DataX3.0设计框架支持插件体系DataX3.0核心架构部署DataX在oushudb中准备源表和目标表根据postgresql模板配置json执行jobDataX概述DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRDS 等各种异构数据源之间高效的数据同步功能。Github地址：h

2021-07-22 11:00:05 176

原创 oushudb分区表学习

文章目录表分区Range分区List分区多级分区查看分区设计添加分区表分区针对大的数据仓库事实表，往往我们可以通过对表进行分区的方式来把一个很大的表拆分成多个子表。这样的话，有两个好处:查询优化器可以针对分区表进行优化，如果查询只设计到某些分区，则查询计划只需要扫描这些分区，从而加速查询。如果我们按照日期进行分区的话，我们可以简单的加入分区和删除过期的分区。OushuDB支持基于Range和List的两种分区方式。OushuDB支持基于Range和List的两种分区方式。Range分区：

2021-06-13 13:50:52 123

原创 oushudb sysbench测试结果

文章目录简介编译测试步骤测试结果简介sysbench是一个开源的、模块化的、跨平台的多线程性能测试工具，可以用来进行CPU、内存、磁盘I/O、线程、数据库的性能测试。是一个基于 LuaJIT 的可编写多线程基准测试工具。它最常用于数据库基准测试，本文将介绍oushudb基于此工具的测试结果。编译cd /data4/sysbench./autogen.sh./configure --prefix=/usr/local/pgsysbench/ --without-mysql --with-pgs

2021-05-16 13:31:55 158 1

原创配置oushudb高可用

Oushu Database 集群上可以配置两个master节点：主节点（master）和备用主节点（standby master）。客户端连接到主节点, 查询只能在主节点上执行。您可以在单独的机器上部署备用主节点, 使群集能够更好得容忍单点故障。如果主节点无法运行, 备用主节点将升级为主节点以支持集群正常运行。

2021-04-12 16:42:19 121

原创 3.记录本地安装oushudb——安装oushudb

1.首先在oushum1，修改/usr/local/hawq/etc/slaves，将所有OushuDB的segment节点的hostname写入slaves中，在本次安装中，应该写入slaves的有oushus1和oushus2，slaves内容为:oushus1oushus22.在其他节点上安装hawq：hawq ssh -h oushum2 -e "yum install -y hawq"hawq ssh -f slaves -e "yum install -y hawq"3.在ous

2021-03-22 10:38:01 168

原创 2.记录本地安装oushudb——安装zk和hdfs

因为最近公司事情比较忙，就忘了更新，接着上一篇讲，上一篇文章讲了安装oushudb的一些准备工作，这篇文章主要讲安装oushudb前相应组件的安装。一、安装zookeeper1.创建一个zkhostfile包含要安装zookeeper的机器：touch zkhostfile2.添加下面主机名到zkhostfile，该文件记录安装zookeeper的主机名称，因为我们在准备工作中准备了三台机器，分别为oushum1,oushum2,oushus1：oushum1oushum2oushus1

2020-12-23 10:00:39 173

原创 1.记录本地安装oushudb——安装准备

因为公司业务需要最近让我研究一下国内的mpp数据库，对比了几家后发现基于hawq的oushudb在各方面都尤为不错。Oushu Database（简称OushuDB）是由Apache HAWQ创始团队打造的新一代云原生数据仓库，该产品采用了存储与计算分离技术架构，具有MPP的所有优点，还具有弹性，支持混合工作负载和高扩展性等优点。同时支持公有云与私有云。高可扩展，遵循ANSI-SQL标准，具有极速执行器，提供PB级数据交互式查询能力。并且提供对主要BI工具的描述性分析支持和高级机器学习功能。兼容Orac

2020-12-16 10:52:12 297 2

Enguei_99的博客