CDH
文章平均质量分 92
我去探险了
这个作者很懒,什么都没留下…
展开
-
CDH6.3.2升级impala3.2至impala3.4详细步骤
CDH6.3.2 impala3.2 升级至impala3.4编译全过程 本地环境 硬件要求 CPU 必须至少支持 SSSE3 最小内存:16GB (社区推荐64G) 硬盘空间:120GB(用于测试数据) 仅支持Linux的操作系统 Ubuntu 14.04、16.04、18.04 CentOS 7 编译环境 一套CDH6.3.2集群,部署在三台centos机器上 一台同样环境的centos机器用来编译Apache Impala 3.4 impala与其他组件版本支持原创 2021-11-23 10:14:34 · 2156 阅读 · 0 评论 -
CDH6.3.2离线部署
集群规模确定 从数据量、计算性能要求、可靠稳定性、容错性等方面考虑。 数据量 现有数据量(如现有历史数据)和增量数据(日增、月增数据,一般需要考虑满足1-2年的容量,后续再扩容) 数据的副本数(Hadoop默认3副本,乘3倍); 数据清洗、融合加工处理、共享等过程产生的,中间表、指标表、主题/专题库等表(乘3-5倍)。注意:HDFS上不同格式的表压缩比也不一样,如文本txt表不压缩,orc有一定的压缩比(1:3),HBase(看是否采用压缩),ES看索引是否有膨胀; 储存的冗余量 + 20-30%; 如:现原创 2021-11-17 10:56:23 · 2247 阅读 · 0 评论