wzy0623的专栏

数据库、数据仓库、大数据

HAWQ技术解析(十八) —— 问题排查

(原文地址:http://hawq.incubator.apache.org/docs/userguide/2.1.0.0-incubating/troubleshooting/Troubleshooting.html)        本章描述如何解决HAWQ系统中常见的错误和问题。一、查询性能问...

2017-04-28 15:10:30

阅读数:3467

评论数:1

HAWQ技术解析(十七) —— 最佳实践

一、HAWQ参数配置最佳实践(原文地址:http://hawq.incubator.apache.org/docs/userguide/2.1.0.0-incubating/bestpractices/config_hawq_bestpractices.html)        在$GPHOME/...

2017-04-27 17:20:02

阅读数:2921

评论数:1

HAWQ技术解析(十六) —— 运维监控

与任何IT系统一样,为了保证HAWQ集群的高可用和高性能,需要进行一系列监控与维护活动。本篇讨论HAWQ推荐的运维与监控活动。一、推荐的监控与维护任务        表1至表5是HAWQ向系统管理员推荐定期执行的活动,包括系统与数据库监控、数据与数据库的维护、补丁与升级等,目的是要确认系统的所有组...

2017-04-27 16:54:56

阅读数:2104

评论数:0

HAWQ技术解析(十五) —— 备份恢复

一、为什么还需要备份        HAWQ作为一个数据库管理系统,备份与恢复是其必备功能之一。HAWQ的用户数据存储在HDFS上,系统表存储在master节点主机本地。HDFS上的每个数据块缺省自带三份副本,而且一个数据块的三份副本不会存储在同一个DataNode上,因此一个DataNode节点...

2017-04-25 13:51:31

阅读数:2074

评论数:0

HAWQ技术解析(十四) —— 高可用性

一、HAWQ高可用简介        HAWQ作为一个传统数仓在Hadoop上的替代品,其高可用性至关重要。通常硬件容错、HAWQ HA、HDFS HA是保持系统高可用时需要考虑并实施的三个层次。另外实时监控和定期维护,也是保证集群所有组件健康的必不可少的工作。        总的来说,HAWQ容...

2017-04-24 17:52:28

阅读数:3398

评论数:0

HAWQ技术解析(十三) —— 资源管理

一、HAWQ如何管理资源        HAWQ使用多种机制管理CPU、内存、I/O、文件句柄等系统资源,包括全局资源管理、资源队列、强制资源使用限额等。1. 全局资源管理        Hadoop通常使用YARN全局管理资源。YARN是一个通用的资源管理框架,为MapReduce作业或其它配置...

2017-04-21 16:09:45

阅读数:3388

评论数:3

HAWQ技术解析(十二) —— 查询优化

即便对SELECT等数据库查询语句已经很熟悉了,但HAWQ里的查询有其自己的特点,还是需要研究一下。一、HAWQ的查询处理流程        理解HAWQ的查询处理过程有助于写出更加优化的查询。与任何其它数据库管理系统类似,HAWQ也有如下的查询执行步骤:用户使用客户端应用(如psql)连接到HA...

2017-04-14 10:41:50

阅读数:4116

评论数:2

HAWQ技术解析(十一) —— 数据管理

一、基本操作1. INSERT        在常用的增删改查数据库操作中,HAWQ仅支持INSERT和SELECT两种,不支持UPDATE和DELETE,这主要是因为HDFS是一个只能追加数据而不能更新的文件系统。SELECT语句最熟悉不过,它应该是数据库中最常用的语句了,在下一篇“查询优化”时...

2017-04-06 14:39:33

阅读数:5072

评论数:6

HAWQ技术解析(七) —— 存储分布

在HAWQ中创建一个表时,应该预先对数据如何分布、表的存储选项、数据导入导出方式和其它HAWQ特性做出选择,这些都将对数据库性能有极大影响。理解有效选项 的含义以及如何在数据库中使用它们,将有助于做出正确的选择。一、数据存储模型        create table的with子句用于设置表的存储...

2017-04-01 16:53:14

阅读数:6279

评论数:2

提示
确定要删除当前文章?
取消 删除
关闭
关闭