- 博客(7)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 面试-笔试 解答
SQL编程题目 求每一位员工工作时长公司每位员工打卡时间表A员工工作时长表B解答过程-- 得到分组时间的最大值 下班时间select a.id,a.`name`,a.time from (SELECT id,name,time FROM punch GROUP BY `id` DESC)a GROUP BY a.`name`-- 得到分组时间的最小值 上班时间selec...
2019-03-28 17:12:36
138
原创 YARN的Memory和CPU调优配置详解
Hadoop YARN同时支持内存和CPU两种资源的调度，本文介绍如何配置YARN对内存和CPU的使用。YARN作为一个资源调度器，应该考虑到集群里面每一台机子的计算资源，然后根据application申请的资源进行分配Container。Container是YARN里面资源分配的基本单位，具有一定的内存以及CPU资源。在YARN集群中，平衡内存、CPU、磁盘的资源的很重要的，根据经验，每两个container使用一块磁盘以及一个CPU核的时候可以使集群的资源得到一个比较好的利用。内存配
2019-03-21 16:14:57
287
原创 Hive统计当月和本季度的流量
原始数据用户 日期 流量熊猫tv 2018-01-02 5快手 2018-01-02 3YY 2018-01-02 2熊猫tv 2018-01-03 4抖音 2018-01-02 15快手 2018-01-03 3YY 2018-01-03 ...
2019-03-18 16:27:06
2387
原创 Kafka 单分区有序 怎么做到全局有序
Kafka 单分区有序 怎么做到全局有序主要概念Topics: 主题是一个发布记录的目录或者概要名称broker :进程,一个kafka就是一个broker,多个brok可以组成一个集群consumer一个组内共享一个group id组内的消费者协调一致去消费topic的所有分区每个分区P0只能被group A 里的一个消费组C1消费容错消费机制partition:...
2019-03-12 17:52:31
5900
原创 Flume 负载均衡和容错实现原理及过程
Failover Sink Processor 与Load balancing Sink ProcessorFailover Sink:故障转移工作原理发送消息失败的接收器放入一个冷却池中,并设定一个冷静期.随着重试失败次数的增加,冷静期会增加,如果一旦接收器成功发送消息就恢复到活动池中在接收器发送消息的时候失败,接下来,尝试一个更高优先级的接收器发送消息故障转移接收器处理器...
2019-03-12 15:33:29
1191
原创 Spark Shuffle机制
Shuffle机制hashshuffle、BypassMergeSortShuffleWriter、 sort shuffle
2019-03-11 14:58:13
207
原创 Spark内存管理 StaticMemoryManagement与UnifiedMemoryManagement
Spark内存管理：静态内存与统一内存内存管理如何优化
2019-03-06 17:32:09
288
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人