hadoop伪分布式集群部署

1. 上传hadoop安装文件并解压。tar -zxvf hadoop文件 -C 目标路径。
2. 配置文件hadoop-env.sh,core-site.xml,hdfs-site.xml,mapred-site.xml,yarn-site.xml,slaves.

   <!-- 伪分布式-->
   
   <!-- hadoop-env.sh配置Javahome -->
   
   <!-- core-site.xml-->
   <property>  
   <name>fs.defaultFS</name>  
   <value>hdfs://hadoop-server-00:9000</value>  
   </property>  
   <property>  
   <name>hadoop.tmp.dir</name>  
   <value>/home/hadoop/hadoop2.2/tmp/hadoop-${user.name}</value>  
   </property> 
   
   <!-- hdfs-site.xml-->
   <property>  
   <name>dfs.replication</name>  
   <value>1</value>  
   </property> 
   
   <!-- mapred-site.xml-->
   <property>  
   <name>mapreduce.framework.name</name>  
   <value>yarn</value>  
   </property>
   
   <!-- yarn-site.xml-->
   <property>  
   <name>yarn.resourcemanager.hostname</name>  
   <value>hadoop-server-00</value>  
   </property>  
   <property>  
   <name>yarn.nodemanager.aux-services</name>  
   <value>mapreduce_shuffle</value>  
   </property>
   
   <!-- slaves设置从节点 -->

3. 格式化hdfs   bin目录下的hadoop文件 ./hadoop namenode -format
4. 拷贝该节点下的hadoop配置到其他节点，最好配置SSH免密登陆。
5.  删除从节点下的tmp工作目录(namenode必须)。
6. 启动hdfs/mr  start-dfs.sh/start-yarn.sh

ps: CentOS下的jps命令是基于java bin目录下，所以要确保Java目录正常安装并配置path正确。

SSH免密登陆 ssh-keygen，  ssh-copy-id 目标主机。

拷贝命令 scp -r 源文件路径 目标主机：目标路径。