hadoop2
张浚哲
这个作者很懒,什么都没留下…
展开
-
hadoop2集群搭建+HA配置
1.首先需要安装jdk,配置免秘钥登录,前面的博客有写过这里就不写了。 2.下载安装hadoop2.7.1 tar -zxvf hadoop-2.7.1-src.tar.gz 3.配置环境变量 vi /etc/profile 4.进入hadoop的配置文件目录 cd /home/hadoop/hadoop-2.7.1/etc/hadoop 5.修改hadoop-env.sh导原创 2015-12-10 15:34:41 · 805 阅读 · 1 评论 -
Hadoop平台关闭THP解决服务器高负载问题
Ambari和CM管理平台都提示,建议关闭THP,这是为什么?如果不关闭THP,发现Hadoop的系统态CPU使用率很高, 原因是RHEL6优化了内存申请的效率,而且在某些场景下对KVM的性能有明显提升。 而Hadoop是个高密集型内存运算系统,这个改动似乎给它带来了副作用。理论上运算型Java程序应该更多的使用用户态CPU才对,Cloudera官方也推荐关闭THP。 http://www.clo...转载 2018-08-05 18:00:10 · 192 阅读 · 0 评论 -
hadoop集群系统优化
1. Ulimit 配置 操作系统默认只能打开 1024 个文件,打开的文件超过这个数发现程序会有“too many open files”的 错误,1024 对于大数据系统来说显然是不够的,如果不设置,基本上整个大数据系统是“不可用的”,根 本不能用于生产环境。 配置方法如下: echo "* soft nofile 128000" >> /etc/security/limit...原创 2018-08-05 21:36:17 · 943 阅读 · 0 评论