- 博客(4)
- 收藏
- 关注
RSS订阅原创 Hive优化系列之Map与Reduce数量选择
注意，以下操作都是针对非分桶表map数量算法MapTask的个数=输入文件总大小/分片尺寸，个人理解就是输出的文件数量原因：系统对输入的源文件依照Block的尺寸分片，并在执行Job时安排一个Map Task处理一个Block的或者由mapred.map.task数量决定，但是如果这个参数不合理的话，会失效小文件不分片压缩文件无法被切分优化建议优化原因map数量过少则导致并发度减小，job过长；若...
2018-05-29 15:45:50
2820
原创 kafka系列详解-性能与存储篇（持续更新完善中）
存储在Kafka文件存储中，同一个topic下有多个不同partition，每个partition为一个目录，partiton命名规则为topic名称+有序序号，第一个partiton序号从0开始，序号最大值为partitions数量减1在一个可配置的时间段内，Kafka集群保留所有发布的消息，不管这些消息有没有被消费。比如，如果消息的保存策略被设置为2天，那么在一个消息被发布的两天时间内，它都是...
2018-05-29 15:41:44
1335
原创 Hive优化原则-策略-过程简述（持续更新完善中）
原则优化时把握整体，单个作业最优不如整体最优合理控制map reduce数量减少job数量（合并，大的分拆）合并小文件避免倾斜从表连接的角度优化：尽量使用内连接，因为内连接是两表都满足的行的组合，而外连接是以其中一个表的全部为基准从索引的角度优化：对那些常用的查询字段简历索引，这样查询时值进行索引扫描，不读取数据块可以在查询的过程中减少不必要的分区，字段好Hadoop的首要任务是增大每次任务所搭载...
2018-05-25 07:59:33
653
原创 Kafka系列详解-基础概念与核心设计（持续更新完善中）
核心概念topic:对消息（message）归类;例如，在网页活动跟踪中，每个活动种类（包括网页浏览、搜索、点击等）的消息都可以发布到一个各自的topic中Topic和Producer发布给一个topic的消息可以在Kafka集群中分割成多个 partition每个parititon都是一个loglog中的消息按发布的顺序排成一个消息列（ message sequence ）Kafka不断地向lo...
2018-05-25 07:50:23
391
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人