hadoop
文章平均质量分 85
乐优刘@0724
吴昂旺
展开
-
centos7.5 kerberos 主从配置
主机规划:192.168.2.132 master192.168.2.131 slave环境:名称 版本CentOS CentOS release 7.5下载jce_policy-8.zipcp jce_policy-8.zip /usr/java/jdk1.8.0_152/jre/lib/securityunzip jce_policy-8.zip2、安装kdc server 和clientyum -y install krb5-libs krb5-server krb5-workst原创 2022-03-02 14:53:14 · 446 阅读 · 0 评论 -
Ganglia无法访问:You don‘t have permission to access /ganglia on this server
Ganglia无法访问:You don’t have permission to access /ganglia on this server如果你之前配置都没问题,那应该只要修改这里就好了:在flume目录下,注释掉上面的规则,最后添加Require all granted在这里插入图片描述[root@centos04 flume]# vim /etc/httpd/conf.d/ganglia.conf保存退出 Esc -> :wq!然后重启一下:sudo service httpd原创 2020-12-07 18:29:52 · 244 阅读 · 0 评论 -
数据倾斜解决办法hadoop
数据倾斜:就是大量的相同key被partition分配到一个分区里,map /reduce程序执行时,reduce节点大部分执行完毕,但是有一个或者几个reduce节点运行很慢,导致整个程序的处理时间很长,这是因为某一个key的条数比其他key多很多(有时是百倍或者千倍之多),这条key所在的reduce节点所处理的数据量比其他节点就大很多,从而导致某几个节点迟迟运行不完。解决方案:1.增加jvm内存,这适用于第一种情况(唯一值非常少,极少数值有非常多的记录值(唯一值少于几千)),这种情况下,往往只能原创 2020-12-02 13:21:26 · 372 阅读 · 0 评论