Hadoop踩坑记录

Hadoop14.04 安装采坑

1.启动hdfs是出现Unable to load native-hadoop library for your platform… using builtin-java classes where appl…

/etc/profile配置文件出现路径不对

  # 增补如下内容
# Hadoop params
export HADOOP_HOME=/home/hdpadmin/hadoop/hadoop-2.6.0
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib/native"
export PATH=.:$JAVA_HOME/bin:$JRE_HOME/bin:$M2_HOME/bin:$HADOOP_HOME/bin:$PATH

然后重启一下环境变量配置文件source /etc/profile

---

2.启动hdfs成功，并且在ip地址：50070后可以看到界面，但是jps查看是否没有出现DateNode节点，如何解决呢？

原因：一般来说是由于多次格式化后，使得NameNode节点的ID与DateNode的Id不相匹配使得无法启动DateNode节点

解决方法

方案一：删除dfs下面的name文件和date文件

cd hadoop/dfs //进入到dfs目录下
ls //查看是否存在这个文件
sudo rm -r name //删除name文件
sudo rm -r date //删除date文件

然后再次格式化

cd  $HADOOP_HOME
bin/hdfs  namenode  -format

方案二：如果按照方案一不能解决问题。可以选择删除hadoop下面的所有目录以及下面的所有文件然后重新安装

注意:格式化一次后，运行hdfsz就不要在进行格式化了，以免出现上述问题