Hadoop伪分布式环境搭建
1.配置一个节点的hdfs系统
vi etc/hadoop/core-site.xml
2.新增hdfs文件系统节点
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop.skedu.com:9000</value>
</property>
3.配置一个临时数据存放位置
$ mkdir data
$ cd data
$ mkdir tmp
4.同样的配置一下core-site.xml
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/modules/hadoop-2.7.3/data/temp</value>
</property>
5.指定副本节点的数量
一般情况下,我们都是会有三个拷贝,这里为了节约资源,指定一个
vi etc/hadoop/hdfs-site.xml
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
6.由于每次都要输入密码,这里噢诶之ssh无秘钥登录
$ ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
$ chmod 0600 ~/.ssh/authorized_keys
7.格式化HDFS系统
$ bin/hdfs namenode -format
8.启动hadoop的HDFS文件系统
sbin/start-dfs.sh
9.查看服务是否正常
jps
如果能够看到namenode datanode secondarynamenode都显示正常,如下图:
这里谈一下我涉及到的坑:
hadoop启动时 datanode namenode启动失败
这个解决思路是对的,但是尝试了一下没有成功。
和上面的提示一样:
如果提示 文件夹没有 说明你没有格式话hdfs
如果是这种提示 就和参考博客中的是一样的了。
如果你的启动不成功,请参考:
- 首先 查看是否有拼写错误
- 在配置好临时目录以后 要启动hdfs格式化命令
- 如果目录权限不够 请给你的用户添加权限
- 注意,重新启动hdfs的时候,要先执行关闭命令
最后,配置伪分布式还是比较简单的,如果实在不行,就直接重新删除相关目录,在重新配置一下。有时候可以尝试重新启动一下机器。
这是后来看到的搭建的伪分布式的 看一下注意事项就好了
搭建hadoop伪分布式 的注意事项