2018年08月_songbintao

翻译 HAWQ--高可用、冗余、容错性

HAWQ集群通过系统冗余确保高可用性。HAWQ部署使用平台硬件冗余，例如master catalog的RAID、segments的JBOD和互连层的网络冗余。在软件级别，HAWQ通过主镜像和双集群维护提供冗余。此外，HAWQ还支持HDFS中的高可用NameNode配置。为了维护集群的健康，HAWQ使用基于心跳和按需探测协议的容错服务。它可以动态地识别新添加的节点，并在无法使用时从集群中删除节点...

2018-08-30 16:27:18 572

原创压测工具--super-smack测试mysql

查看编译帮助：[root@node2 super-smack-1.2]# ./configure --helpUsage: configure [options] [host]Options: [defaults in brackets after descriptions]Configuration: --cache-file=FILE cache test resu...

2018-08-30 14:51:59 797

翻译 HAWQ--目录缓存

HDFS目录缓存是HAWQ master用于确定表数据在HDFS上的分布信息的缓存服务。HDFS在RPC处理方面速度慢，特别是当并发请求数量很高时。为了决定哪个segments 处理哪部分数据，HAWQ需要从HDFS namenodes获得数据位置信息。HDFS目录缓存用于缓存数据位置信息并加速HDFS RPCS。...

2018-08-22 17:52:07 205

原创 Linux下mysql5.7的安装

下载tar包，这里使用wget从官网下载[root@node2 ~]# wget https://dev.mysql.com/get/Downloads/MySQL-5.7/mysql-5.7.22-linux-glibc2.12-x86_64.tar.gz将mysql安装到/usr/local/mysql下[root@node2 ~]# tar -xvf mysql-5.7.22-l...

2018-08-22 15:52:07 108

转载 mysql备份工具：mysqldump mydumper Xtrabackup 原理

备份是数据安全的最后一道防线，对于任何数据丢失的场景，备份虽然不一定能恢复百分之百的数据(取决于备份周期)，但至少能将损失降到最低。衡量备份恢复有两个重要的指标：恢复点目标(RPO)和恢复时间目标(RTO)，前者重点关注能恢复到什么程度，而后者则重点关注恢复需要多长时间。这篇文章主要讨论MySQL的备份方案，重点介绍几种备份方式的原理，包括文件系统快照(LVM)，逻辑备份工具Mysqldump，M...

2018-08-17 15:54:30 602

翻译 HAWQ--资源管理

HAWQ提供了几种资源管理方法，并包括一些用户可配置的选项，包括与YARN的资源管理的集成。HAWQ有使用以下机制管理资源的能力:全局资源管理。您可以集成HAWQ与YARN资源管理器，根据需要请求或返回资源。如果不集成HAWQ与YARN，HAWQ只会消耗集群资源并管理自己的资源。如果将HAWQ与YARN集成在一起，HAWQ就会自动从YARN获取资源，并通过内部定义的资源队列管理这些资源。当资...

2018-08-14 17:28:52 194

翻译 HAWQ--运行时执行弹性查询

HAWQ使用动态分配的虚拟段为查询执行提供资源。在HAWQ 1.x，用于运行查询的segments(计算资源载体)是固定的，不管底层查询是需要很多资源的大查询还是需要很少资源的小查询。这个架构很简单，然而它使用资源的效率很低。为了解决这个问题，HAWQ现在使用运行时执行弹性查询特性，它基于虚拟段。HAWQ根据查询的成本需求分配虚拟段。换句话说，对于大型查询，HAWQ启动了大量的虚拟段，而对...

2018-08-14 14:03:44 448

原创 vault--源码安装

确认系统已经安装了go，version 1.10.1+[root@node2 ~]# tar -C /usr/local -xzf go1.10.3.linux-amd64.tar.gz配置GOPATH：[root@node2 ~]# mkdir /app/go_path[root@node2 ~]# export GOPATH=/app/go_path下载vault的安装包[r...

2018-08-13 17:51:57 408

转载 vault-密码、证书管理工具

vault是什么vault是一个密码/证书集中式管理工具，通过HTTP-API对外提供统一的密码访问入口，并且提供权限控制以及详细的日志审计功能。一个系统可能需要访问多个带密码的后端：例如数据库、通过API keys对外部系统进行调用，面向服务的架构通信等等。要将众多系统中的用户和权限对应起来已经非常困难，加上提供密钥滚动功能、安全的存储后端还要有详细的审计日志，自定义解决方案几乎不太可能...

2018-08-13 17:37:08 2022

翻译 HAWQ--表的分布和存储

Table Distribution and StorageHAWQ存储除了系统表以外的所有的表数据在HDFS。一个用户创建一个表时，元数据存储在master的本地文件系统，表内容存储在HDFS。为了简化表数据的管理，所有的关联数据存放在一个HDFS目录。对于所有HAWQ表存储格式、AO (append only)和Parquet，数据文件都是可分割的，这样HAWQ就可以分配多个虚拟段...

2018-08-13 11:35:21 1135

翻译 HAWQ--体系结构

本主题介绍了HAWQ体系结构及其主要组件。在典型的HAWQ部署中，每个slave都有一个物理HAWQ段、一个HDFS DataNode和一个NodeManager。HAWQ、HDFS和YARN的master部署在独立的节点上。下图提供了典型的HAWQ部署的高级体系结构视图。HAWQ集成了Hadoop资源管理框架YARN，用于查询资源管理。HAWQ将YARN的容器缓存到资源池中，然后利用...

2018-08-10 16:55:34 1125

翻译 HAWQ--简介

HAWQ是Hadoop原生SQL查询引擎，结合了MPP数据库的关键技术优势和Hadoop的可扩展性和便捷性。HAWQ从HDFS本地读取数据并将数据写入HDFS。HAWQ提供业界领先的性能和线性可伸缩性。它为用户提供了自信和成功地与petabyte range数据集交互的工具。HAWQ为用户提供了一个完整的、符合标准的SQL接口。更具体地说，HAWQ有以下特点:本地或云部署健壮的ANSI...

2018-08-10 14:46:34 16050

原创安装UUID

确认系统安装了uuid和uuid-devel[root@node2 ~]# rpm -qa |grep uuidlibuuid-devel-2.23.2-33.el7.x86_64uuid-devel-1.6.2-26.el7.x86_64uuid-1.6.2-26.el7.x86_64libuuid-2.23.2-33.el7.x86_64编译postgresql时加入...

2018-08-08 11:34:58 2560

原创 Oracle的临时表和统计信息的处理

临时表介绍Oracle的临时表分为会话级和事务级，创建语句：--会话级：create global temporary table tmp_sess_dept on commit preserve rows as select * from dept ; --事务级create global temporary table tmp_tran_dept on commit de...

2018-08-03 17:29:52 8150

原创 pacemaker+corosync+postgresql

测试环境：系统Redhat7.3数据库Postgresql-101、环境配置：配置主机名hostnamectl set-hostname node1 关闭selinux[root@node1 ~]# cat /etc/selinux/config |grep -v ^#SELINUX=disabledSELINUXTYPE=targeted 关闭防火...

2018-08-03 16:01:43 1560

songbintao的专栏