数据库
Sunhighlight
这个作者很懒,什么都没留下…
展开
-
Greenplum源码编译安装
0.前期系统准备0.1搭建集群0.2配置系统参数#vim /etc/sysctl.conf配置成kernel.shmmax=500000000kernel.shmmni=4096kernel.shmall=4000000000kernel.sem=250 512000 100 2048kernel.sysrq=1kernel.core_pattern=/var/core/cor...原创 2019-02-22 18:32:24 · 807 阅读 · 0 评论 -
(四)PrestoDB源码解析(一)
presto-cli模块概要该模块主要负责查询SQL的客户端功能,利用RESTful请求实现SQL语句的查询。PrestoDB可以通过presto-cli客户端和JDBC连接这两种方法实现SQL的查询。presto-cli模块查询流程:通过用户输入SQL将语句组装成一个RESTful请求,发送给Coordinator执行该SQL,并启动查询方法,分批查询结果,不断返回给客户端并在前端显示...原创 2019-06-15 18:34:31 · 1598 阅读 · 0 评论 -
Hadoop与Spark介绍
Hadoop介绍大数据概念Hadoop1.Hadoop生产背景2.Hadoop生态体系架构Hadoop架构Hadoop组件Hadoop相关术语HDFS架构YARN架构YARN资源的几种调度模式Spark介绍性能对比模式介绍架构介绍架构模式简单架构解决方案大数据概念1.海量的2.规模大的,维度多的3.爆发性增长的4.价值密度低、价值量大Hadoop1.Hadoop生产背景2.Had...原创 2019-06-12 14:43:45 · 248 阅读 · 0 评论 -
Greenplum资源队列
资源队列语句CREATE RESOURCE QUEUE G1 WITH (ACTIVE_STATEMENTS=10,MEMORY_LIMIT=‘200MB’)//创建资源列队:设置:活动数量10,内存200上限CREATE RESOURCE QUEUE G1 WITH (ACTIVE_STATEMENTS=10)//创建资源队列活跃sql为10select * from pg_...原创 2019-05-07 21:55:32 · 858 阅读 · 0 评论 -
Hadoop的安装和启动
1. 在lunix系统下解压hadoop压缩包到指定文件夹:#tar -zxvf hadoop-2.6.5.tar.gz -C /usr/Hadoop/2. 配置hadoop的配置文件:(1) 配置Hadoop的环境变量#vim hadoop-env.sh将修改修改为JDK的路径(2) 修改#vim core-site.xml<configuration>&...原创 2019-04-21 20:53:23 · 883 阅读 · 0 评论 -
(三)presto整合SpringBoot
1.说明1.1PrestoDB是facebook开源的支持多数据源混合查询的一个计算引擎,他的最大特点:1.查询速度快 2.支持多数据源在一条SQL语句中混合查询 3.基于内存的查询。当我们安装好PrestoDB,且通过配置多个数据源在Java的Maven项目实现了跨数据源混合查询实验后,我们需要将整个PrestoDB嵌入Java的SpringBoot框架。(1)如果没有安装PrestoDB的...原创 2019-04-05 16:10:25 · 5623 阅读 · 2 评论 -
(二)presto实现多数据源混合查询
1.说明1.1PrestoDB是facebook开源的支持多数据源混合查询的一个计算引擎,他的最大特点:1.查询速度快 2.支持多数据源在一条SQL语句中混合查询 3.基于内存的查询。本文主要说明将不同数据源配置进PrestoDB中,使他实现多数据源查询。现在以:Greenpluml和Mysql这2种数据源为例。2.Mysql数据源2.1进入Presto的安装目录:#cd /home/y...原创 2019-04-05 15:32:51 · 9305 阅读 · 7 评论 -
Kylin介绍
原创 2019-03-31 20:56:35 · 286 阅读 · 0 评论 -
(一)presto集群安装
1.说明1.1 Presto是一个运行在多台服务器上的分布式系统。 完整安装包括一个coordinator(调度节点)和多个worker。 由客户端提交查询,从Presto命令行CLI提交到coordinator。 coordinator进行解析,分析并执行查询计划,然后分发处理队列到worker。2.机器准备机器ip --------------- hostname -----------...原创 2019-02-24 19:55:34 · 970 阅读 · 0 评论 -
Greenplum节点恢复
1.查看状态gpadmin账户下执行:gpstate -a2.排除故障后,恢复数据gpadmin账户下执行:gprecoverseg3.观察恢复是否完成gpadmin账户下执行:gpstate -s | grep Sync4.平衡处理节点(如果主节点down了,mirror节点接管后,会造成部分节点负担过重。所以要进行这步操作)gpadmin账户下执行:gprecoverseg -r...原创 2019-02-23 20:17:50 · 2134 阅读 · 0 评论 -
(四)PrestoDB源码解析(二)
(四)PrestoDB源码解析(二)执行计划模块概要PrestoDB对传入的SQL语句进行解析后将生成执行计划,本模块将解析PrestoDB如何生成执行计划。(a). 用户输入SQL语句,通过JDBC或者presto-cli客户端将SQL通过HTTP的形式传入Coordinator中的StatementResource接口的createQuery方法中,进入执行计划生成模块;(b).通...原创 2019-07-01 17:00:24 · 1051 阅读 · 0 评论