大数据架构
Ronney-Hua
这个作者很懒,什么都没留下…
展开
-
分布式大数据多维分析(OLAP)引擎Apache Kylin安装配置及使用示例
原文地址:http://lxw1234.com/archives/2016/04/643.htmApache Kylin是一个开源的分布式分析引擎,提供Hadoop之上的SQL查询接口及多维分析(OLAP)能力以支持超大规模数据,最初由eBay 开发并贡献至开源社区。它能在亚秒内查询巨大的Hive表。kylinKylin OLAP引擎基础框架,包括元数据(Metadata)引擎,查询引擎,Job引擎转载 2017-04-26 14:32:20 · 698 阅读 · 0 评论 -
Apache Kylin原理学习之Cube的创建与Build
原文地址:http://lxw1234.com/archives/2016/05/655.htm Cube是一种典型的多维数据分析技术,一个Cube可以有多个事实表,多个维表构成。如果您还不了解这些概念,建议您搜索下数据仓库、OLAP、Cube、星型模型、事实表、维度表等等。比如一个简单例子,分析网站流量的Cube,包含一个事实表和四个维度表: 事实表可能有以下字段: 天、来源ID、浏览器ID转载 2017-04-26 14:37:39 · 2547 阅读 · 0 评论 -
kylin与superset集成实现数据可视化
原文地址:http://minirick.duapp.com/kylinyu-supersetji-cheng-shi-xian-shu-ju-ke-shi-hua/?utm_source=tuicool&utm_medium=referralapache kylin是一个开源分布式引擎,提供Hadoop之上的SQL查询接口及多维分析(OLAP)能力以支持超大规模数据。而superset是airbn转载 2017-04-26 14:43:09 · 1295 阅读 · 0 评论 -
Hawq超过最大允许连接数
Hawq默认master允许最大连接数250 segment最大连接数750 可以通过命令行或者Ambari更改连接数1、命令行$ hawq config -c max_connections -v 1000 $ hawq config -c seg_max_connections -v 2000 $ hawq config -c max_prepared_transactions -v 10原创 2017-08-04 10:05:23 · 664 阅读 · 0 评论 -
Spark性能调优
通常我们对一个系统进行性能优化无怪乎两个步骤——性能监控和参数调整,本文主要分享的也是这两方面内容。一、性能监控工具 【Spark监控工具】 Spark提供了一些基本的Web监控页面,对于日常监控十分有用。 1、Application Web UI http://master:4040(默认端口是4040,可以通过spark.ui.port修改)可获得这些信息: (1)stag转载 2017-10-20 10:24:01 · 667 阅读 · 0 评论