hadoop在centos7上搭建过程中遇到的问题总结

本文详细记录了在CentOS7上搭建Hadoop 2.2.0的过程,包括遇到的错误及解决方法。主要问题涉及Hadoop初始化、32位与64位库冲突以及防火墙设置。通过解决Java HotSpot(TM)警告、编译或替换native库以及开启防火墙服务,最终成功完成Hadoop集群的搭建并能正常访问Web UI。
摘要由CSDN通过智能技术生成

hadoop在centos7上搭建历程,分析解决遇到的问题,最终走向成功。不着急可以读完,可以跳过我走的坑,还能对你遇到的问题有所启发。如发现有问题,请指正,大家相互学习。

自己根据视频第一次搭建hadoop 2.2.0时,先安装配置好对应环境变量,然后执行脚本start-all.sh启动或者单独执行start-dfs.sh和start-yarn.sh,jps查看进程,一开始出现少了datanode进程,然后分析原因,是因为hdfs在初始化的时候,不小心执行了2次,导致初始化目录中的存储的某个id不一致,所以datanode没法启用。然后tmp目录删掉重新初始化启动成功。但控制台出现Java HotSpot(TM) 64-Bit Server VM warning: You have loaded library /usr/local/hadoop/lib/native/libhadoop.so which might have disabled stack guard.然后百度原因,

出现这个问题基本都是在64位操作系统上,这主要是因为Hadoop官网上下载的本地库文件都是基于32位系统编译的,如果在64位系统上运行会出现这个问题错误。解决的方法 有两种:

一、在64为操作系统上重写编译Hadoop文件

二、在etc/hadoop/目录中的 hadoop-env.sh和yarn-env.sh 这两个文件中添加如下两行代码:
 

export HADOOP_COMMON_LIB_NATIVE_DIR=${HADOOP_HOME}/lib/native
export HADOOP_OPTS="-Djav

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值