本地安装hadoop单机模式的时候需要启动namenode。我使用的是hadoop 3.2,配置文件如下:
site-core.xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
hdfs.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
使用如下可以生成谜钥免密码登录:
#生成
ssh-keygen -t rsa -N '' -f ~/.ssh/id_rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 600 ~/.ssh/authorized_keys
格式化节点:
bin/hdfs namenode -format
之后启动节点:
$ sbin/start-dfs.sh
但是报错 namenode等都出现错误
pdsh@xxx: localhost: connect: Connection refused
原因是pdsh默认采用的是rsh登录,修改成ssh登录即可,在环境变量/etc/profile里加入:
export PDSH_RCMD_TYPE=ssh
再source profile生效,然后再 sbin/start-dfs.sh。之后就可以在jps查看到hdfs服务启动。