hadoop伪分布式安装笔记2

hadoop伪分布式安装笔记2

1.下载并解压（cdh网站）

2.hadoop配置文件的修改（hadoop_home/etc/hadoop）

hadoop-env.sh

​ 添加jdk路径

core-site.xml

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop000:8020</value>
    </property>
</configuration>

hdfs-site.xml

我们只有一个节点，hadoop默认是3

slaves

5.启动hdfs

格式化文件系统（仅第一次执行即可，不要重复执行）hdfs/hadoop namenode -format

---

注：我将在此处着重写出自己遇到的很多问题：

在执行hdfs/hadoop namenode -format后，进入sbin文件，要执行./start-dfs.sh，然后jps查看进程，得了，问题来了。先是datanode没出现，然后我在删除了VERSION重新格式化之后，namenode又没了，namenode搞回来datanode又没了。

现在谈一下自己对问题的总结，不可反复执行hdfs/hadoop namenode -format，它会导致data目录下和name目录下的VERSION中的ID与NAME不同，结果自然引起datanode没了。

但是namenode怎么没得不知道，不过查看日志之后问题是namenode被损坏，因此执行了hadoop namenode -recover(日志内容 there appears to be a gap in the edit log. we expected txitd 1, but got txid 88)然后就好了。

所以教训是别多次hdfs/hadoop namenode -format，此外多查看日志，日志记录了所有的问题。

---

今天还有不少课程作业，对于hadoop的学习就到此为止，虽然自己效率太低但至少是有点收获。