- 博客(4)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 hive 数仓开发任务优化
Hive性能优化 项目：基于hive的dmp数据仓库搭建 Hive：apache开源组件，基于hdfs文件系统及mapreduce计算引擎的关系型数据库，弱索引（目前还没怎么有用过），基本不支持实施数据处理，适用于大数据量的存储及离线的大数据量的数据挖掘 优化： 1：调度优化，模型优化 资源开放的情况下，模型日常T+1调度模型图如下（数据流图）： 数据模型每层的调度要足够灵活，尽量避免由于...
2018-07-31 21:19:55
1022
原创 怎么规划hbase的集群资源
环境资源 一、 hbase存储影响的参数 1、 每台服务器的region个数：20-200个 2、 每个region的大小：10G-30G hbase.hregion.max.filesize 最多可以存储的数据量差不多为200 * 30G ＊ 3＝ 18T 二、 硬盘内存关系比 计算公式： Disk Size / Java Heap = RegionSize / Memsto...
2018-07-26 22:56:07
3419
原创 CMS GC - Hbase
写在前边： 本文参考原文：HBase最佳实践－CMS GC调优 GC阶段流程如下图： Minor GC 流程： 如上图，对象初始化后被放入Young区的Eden区，当Eden区满了之后，会进行一次GC，清理掉没有引用的对象，将依然存活的对象移到S0区，并且回收Eden区空间，称为一次Minor GC，接着新对象进来，又会放入Eden区，满了之后会检查S0和Eden区存活的对象，将所...
2018-07-11 09:50:17
375
原创 kylin 通过nginx实现负载均衡，HA
Kylin 集群模式 + nginx： 1、配置kylin集群模式（/opt/apache-kylin-2.3.1-bin/conf/kylin.properties） 配置节点智能：#Kylin server mode, valid value [all, query, job] kylin.server.mode=all 配置多节点：kylin.rest.servers=BigData-...
2018-07-08 15:51:52
1066
空空如也
求助：kettle连接cdh510-hbase报错问题
2017-07-12
TA创建的收藏夹 TA关注的收藏夹
TA关注的人