HDFS伪分布式搭建过程记录

搭建HDFS用的CentOS6.5 minimal，全部命令行操作的。
安装好操作系统之后需要先配置网络：

cd /etc/sysconfig/network-scripts/
vi ifcfg-eth0
service network restart

修改主机名：

vi /etc/hostname
node01

修改hosts：

vi /etc/hosts
192.168.128.128 node01

配置ssh免密码登陆:

yum install -y openssh-clients openssh-server
ssh-keygen -t rsa
ssh-copy-id -i ~/.ssh/id_rsa.pub root@node01

配置JDK与Hadoop环境变量

vi /etc/profile
export JAVA_HOME=/home/java/jdk1.8.0_151
export PATH=$PATH:$JAVA_HOME/bin:/home/hadoop-2.6.5/bin:/home/hadoop-2.6.5/sbin
source /etc/profile

修改hdfs-site.xml配置文件

<property>
        <name>dfs.replication</name>
        <value>1</value>
</property>

<property>     
 <name>dfs.namenode.secondary.http-address</name>
     <value>node01:50090</value>
</property>

修改core-site.xml配置文件

<property>
        <name>fs.defaultFS</name>
        <value>hdfs://node01:9000</value>
</property>
<property>
        <name>hadoop.tmp.dir</name>
        <value>/var/abc/hadoop/local</value>
</property>

修改slaves配置文件

node01

修改hadoop_env.sh里面的JAVA_HOME变量

JAVA_HOME=/home/java/jdk1.8.0_151

格式化NameNode(创建目录以及文件)

hdfs namenode -format

启动HDFS

start-dfs.sh

操作HDFS文件系统

#创建目录 
hdfs dfs -mkdir -p /user/root
#上传文件 
hdfs dfs -D dfs.blocksize=1048576 -put