![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
文章平均质量分 91
tegong1016
这个作者很懒,什么都没留下…
展开
-
结合业务场景的HBase预分区及热点处理
一、 业务背景 业务优化需要将海量的回调数据处理后存入hbase表,供后续查询,分析,导出等处理,hbase在存储大量数据时,首先要考虑的是热点与预分区的问题,本文主要探讨热点产生的原因、如何结合实际业务进行合理的预分区。 二、 热点产生原因 想知道hbase数据热点产生的原因,需要先了解hbase的存储结构,入下图所示 HBase中的每张表都通过行键按照一定的范围被分割成多个子表(HRegion),默认一个HRegion超过256M就要被分割成两个,由HRegionServer管理,管原创 2022-03-11 09:41:25 · 1927 阅读 · 0 评论 -
基于 YARN 模式部署 Flink 服务
Flink-Session 方式 下面将对图1-1 所示内容进行阐述。 准备资源 发现配置 想要让 Flink 服务运行与 YARN 之上,首先需要让 Flink 能够发现 YARN 和 HDFS 的相关配置,因此,需要通过 YARN_CONF_DIR、HADOOP_CONF_DIR、HADOOP_CONF_PATH 属性来指定 Hadoop 配置文件所在目录。 提示:上述 3 个属性,指定其中之一即可,如果全部指定,将按照指定顺序加载。习惯上,常用 HADOOP_CONF_D原创 2022-01-28 15:12:59 · 2289 阅读 · 0 评论 -
yarn学习之基础库
与MRv1的JobTracker相比,yarn的实现要复杂很多,在借鉴MRv1的一些底层基础库(RPC框架)的基础上,引入了很多新内容,基础库更多 YARN 基础库是其他一切模块的基础, 它的设计直接决定了 YARN 的稳定性和扩展性, 概括起来, YARN 的基础库主要有以下几个。 ❑ Protocol Buffers : Protocol Buffers 是 Google 开源的序列化库原创 2017-08-25 09:25:20 · 229 阅读 · 0 评论