大数据系统性能优化笔记
RangeYan2012
欢迎大家与我交流技术问题!我的QQ:332478640
展开
-
kafka参数配置优化
#非负整数,用于唯一标识broker broker.id=0 # broker 服务监听端口 port=9092 # broker 发布给生产者消费者的hostname,会存储在zookeeper。配置好这个host可以实现内网外网同时访问。 advertised.host.name=host1 # broker 发布给生产者消费者的port,会存储在zooke原创 2016-11-30 18:19:08 · 9849 阅读 · 0 评论 -
flume性能调优总结
fllume经常被用在生产环境中收集后端产生的日志。一个flume进程就是一个Agent。要充分发挥flume的性能最主要的是要调好flume的配置参数。 flume agent配置分为三部分:Source, Channel,Sink. Soure用来接收数据源的数据并放到channel里里面。Channel用来缓存Source放入的数据。Sink用来从channel中取出缓存的数据,并写到下个原创 2017-01-06 11:42:27 · 15082 阅读 · 0 评论 -
Apache Kylin Cube优化
Kylin 构建Cube时优化方法如下: 1. Hierarchy(层级) Dimensions优化 在Fact table(事实表)中的维度满足层级关系时定义这几个维度为Hierarchy。一些列具有层次关系的Dimension组成一个Hierarchy,比如年,月,日组成了一个Hierarchy。 查询时指定group by year ; group by year , month;原创 2017-02-14 12:03:58 · 1343 阅读 · 0 评论