HDFS伪分布式的搭建步骤

HDFS伪分布式的搭建

1.配置免密登录

① ssh-keygen -t rsa （此处一路回车即可）
② ssh-copy-id -i ~/.ssh/id_rsa.pub root@node01

2.配置JDK

① export JAVA_HOME=/opt/software/jdk/jdk1.8.0_151
② export PATH=$PATH: $JAVA_HOME/bin

注意：如果安装的Linux系统中本来有jdk的，需要先卸载掉以前的jdk之后再安装新版本。

3.修改hdfs-site.xml配置文件

<property>
        <name>dfs.replication</name>
        <value>1</value>
</property>

<property>     
 <name>dfs.namenode.secondary.http-address</name>
     <value>主机名:50090</value>
</property>

4.修改core-site.xml配置文件

	<property>
        <name>fs.defaultFS</name>
        <value>hdfs://主机名:9000</value>
</property>
<property>
        <name>hadoop.tmp.dir</name>
        <value>/var/abc/hadoop/local</value>
</property>

5. 修改slaves配置文件
 
	修改为你自己的主机名

6.格式化NameNode

 hdfs namenode -format

7.启动HDFS

在Hadoop的sbin目录下使用命令start-dfs.sh

操作

1.创建目录

hdfs dfs -mkdir -p /user/root

2.上传文件

hdfs dfs -D dfs.blocksize=1048576 -put