hadoop在centos7上搭建历程,分析解决遇到的问题,最终走向成功。不着急可以读完,可以跳过我走的坑,还能对你遇到的问题有所启发。如发现有问题,请指正,大家相互学习。
自己根据视频第一次搭建hadoop 2.2.0时,先安装配置好对应环境变量,然后执行脚本start-all.sh启动或者单独执行start-dfs.sh和start-yarn.sh,jps查看进程,一开始出现少了datanode进程,然后分析原因,是因为hdfs在初始化的时候,不小心执行了2次,导致初始化目录中的存储的某个id不一致,所以datanode没法启用。然后tmp目录删掉重新初始化启动成功。但控制台出现Java HotSpot(TM) 64-Bit Server VM warning: You have loaded library /usr/local/hadoop/lib/native/libhadoop.so which might have disabled stack guard.然后百度原因,
出现这个问题基本都是在64位操作系统上,这主要是因为Hadoop官网上下载的本地库文件都是基于32位系统编译的,如果在64位系统上运行会出现这个问题错误。解决的方法 有两种:
一、在64为操作系统上重写编译Hadoop文件
二、在etc/hadoop/目录中的 hadoop-env.sh和yarn-env.sh 这两个文件中添加如下两行代码:
export HADOOP_COMMON_LIB_NATIVE_DIR=${HADOOP_HOME}/lib/native
export HADOOP_OPTS="-Djav