搭建HDFS用的CentOS6.5 minimal,全部命令行操作的。
安装好操作系统之后需要先配置网络:
cd /etc/sysconfig/network-scripts/
vi ifcfg-eth0
service network restart
修改主机名:
vi /etc/hostname
node01
修改hosts:
vi /etc/hosts
192.168.128.128 node01
配置ssh免密码登陆:
yum install -y openssh-clients openssh-server
ssh-keygen -t rsa
ssh-copy-id -i ~/.ssh/id_rsa.pub root@node01
配置JDK与Hadoop环境变量
vi /etc/profile
export JAVA_HOME=/home/java/jdk1.8.0_151
export PATH=$PATH:$JAVA_HOME/bin:/home/hadoop-2.6.5/bin:/home/hadoop-2.6.5/sbin
source /etc/profile
修改hdfs-site.xml配置文件
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>node01:50090</value>
</property>
修改core-site.xml配置文件
<property>
<name>fs.defaultFS</name>
<value>hdfs://node01:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/var/abc/hadoop/local</value>
</property>
修改slaves配置文件
node01
修改hadoop_env.sh里面的JAVA_HOME变量
JAVA_HOME=/home/java/jdk1.8.0_151
格式化NameNode(创建目录以及文件)
hdfs namenode -format
启动HDFS
start-dfs.sh
操作HDFS文件系统
#创建目录
hdfs dfs -mkdir -p /user/root
#上传文件
hdfs dfs -D dfs.blocksize=1048576 -put