![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
大数据集群管理相关
文章平均质量分 56
大数据生态体系, 如不同集群, 集群的管理...
zhouyanjun_
一直在学习。。。
展开
-
如何在Dataworks里删除表
需要使用ddl语句,比如drop table if EXISTS dws_uv_detail_d;就可以删除成功了。原创 2021-03-13 20:12:20 · 1403 阅读 · 0 评论 -
centos7 ambari 2.6.2.0+hdp 2.6.5.0大数据集群安装部署(企业级)
本文是讲如何在centos7.4(64位) 安装ambari+hdp,如果在装有原生hadoop等集群的机器上安装,需要先将集群服务停掉,然后将不需要的环境变量注释掉即可,如果不注释掉,后面虽然可以安装成功,但是在启动某些服务的时候可能会有异常,比如最后提到的hive启动异常。本文适合系统: RedHat7、CentOS7、Oracle Linux7(都是64位)注意:centos7中文系统有bug(python脚本中文识别问题),需要使用英文系统。本文仅作参考(基本每个配置博客都有局限性和坑~),推荐原创 2021-05-01 11:43:01 · 451 阅读 · 0 评论 -
Hadoop优化(高频面试题)
Hadoop优化(高频面试题)MapReduce 跑的慢的原因MapReduce优化方法MapReduce优化方法主要从六个方面考虑:数据输入、Map阶段、Reduce阶段、IO传输、数据倾斜问题和常用的调优参数。2.1 数据输入2.2 map阶段mapreduce.task.io.sort.mb —> Shuffle的环形缓冲区大小,默认100mmapreduce.map.sort.spill.percent—>环形缓冲区溢出的阈值,默认80%mapreduce原创 2020-08-14 23:56:38 · 436 阅读 · 0 评论