Hadoop伪分布式搭建启动测试

ssh免密钥（本机）

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

 

JAVA_HOME

JAVA_HOME=/opt/modules/jdk1.7.0_79

export PATH=$PATH:$JAVA_HOME/bin

core-site.xml

<property>

         <name>fs.defaultFS</name>

         <value>hdfs://bigdata01:9000</value>

</property>

<property>

         <name>hadoop.tmp.dir</name>

         <value>/opt/modules/hadoop/pseudo</value>

</property>

hdfs-site.xml

<property>

         <name>dfs.replication</name>

         <value>1</value>

     </property>

     <property>

         <name>dfs.namenode.secondary.http-address</name>

         <value>bigdata01:50090</value>

</property>

 

slaves

bigdata01

HADOOP_HOME

export HADOOP_HOME=/opt/modules/hadoop-2.6.5

export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

格式化hdfs（只能格式化一次，再次启动集群不要执行）

hdfs namenode -format

启动集群

start-dfs.sh

创建目录

hdfs dfs -mkdir -p /user/root

查看目录

hdfs dfs -ls /

上传文件

hdfs dfs -put test.txt /user/root

停止集群

stop-dfs.sh

传统方式开启与停止集群

sbin/hadoop-daemon.sh start namenode

sbin/hadoop-daemon.sh start datanode

 

sbin/hadoop-daemon.sh stop namenode

sbin/hadoop-daemon.sh stop datanode

查看hdfs帮助文档

hdfs dfs