hadoop完全分布式集群的搭建

hadoop完全分布式集群的搭建

首先准备工具（xshell、三台linux虚拟机、hadoop安装包（我这里是2.8.5版本）、jdk安安装包（我这里是1.8的），这些安装包都是linux版的）

• 工具链接：

  xshell：
  链接：https://pan.baidu.com/s/1j7ETach_a4xHAjwuDr6AVA 提取码：vmsv

准备工作

=================
免密登录，域名映射
hadoop安装前的准备工作

=================

安装特别简单，一直下一步即可。

Hadoop安装包(2.8.5)：
链接：https://pan.baidu.com/s/14WevvRPbI-E5HNma-FSJ8g 提取码：600u
jdk安装包(1.8)：
链接：https://pan.baidu.com/s/1_lbXY5uLBad_yGbTcU5NbA 提取码：e0gn

一 、开始安装hadoop

1. 首先安装好jdk
   这里不再演示：

   ================
   查看上篇文章
   ================

2. 安装hadoop
   

3. 结果显示这样就可以了
   

4. 进入hadoop.2.8.5
   
   
   主要配置都在etc里面，别的我就不细讲了

5. 继续走，接上，在hadoop-2.8.5下，cd etc/hadoop/
   

6. vi core-site.xml

<configuration>
    <property>
         <name>fs.defaultFS</name>
         <value>hdfs://ubuntu1(`自己电脑的master`):9000</value>
     </property>
     <property>
             <name>hadoop.tmp.dir</name>
      		<value>/home/qin/tmp（`自己电脑的路径`）</value>
     </property>
</configuration>

7. vi hdfs-site.xml

 <configuration>
     <property>
         <name>dfs.replication</name>
         <value>2</value>
     </property>
     <!-- namenode存储位置 -->
     <property> `提前建立好俩个文件目录`
         <name>dfs.namenode.name.dir</name>
         <value>/home/qin/bigdata/tmp/name</value>
     </property>
         <!-- dataode存储位置 -->
     <property>
         <name>dfs.datanode.data.dir</name>
         <value>/home/qin/bigdata/tmp/data</value>
     </property>
     <property>
         <name>dfs.permissions.enabled</name>
         <value>false</value>
     </property>
     <property>
         <name>dfs.datanode.max.xcievers</name>
         <value>4096</value>
         <dedication> Datanode 有一个同时处理文件的上限，至少要有4096</dedication>
     </property>
     <property>
         <name>dfs.namenode.secondary.http-address</name>
         <value>ubuntu1:9001</value>
     </property>
     <property>  <!--设置为true，可以在浏览器中IP+port查看-->
         <name>dfs.webhdfs.enabled</name>
         <value>true</value>
     </property>
 </configuration>

8. vi hadoop-env.sh 修改

export JAVA_HOME=/home/qin/qps/install/jdk1.8.0_231
export HADOOP_CONF_DIR=/home/qin/`qps/install(注意这里不一样)`/hadoop-2.8.5/etc/hadoop

9. vi yarn-site.xml

<configuration>
	<property>
		<name>yarn.resourcemanager.hostname</name>
		<value>master-30585-30586-30587-4d13l`自己的master`</value>
	</property>
	<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
	</property>
	<property>
		<name>yarn.nodemanager.vmem-check-enabled</name>
		<value>false</value>
	</property>
</configuration> 

10. vi mapred-site.xml

<configuration>
	<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
	</property>
</configuration>

11. vi slaves
    把其他几台主机的名字拷贝，写在里面
    

12. 把hadoop.2.8.5远程传送到其他俩台虚拟机
    scp hadoop2.8.5/ xxx :xx/xx/xx
    注意路径

13. 格式化
    hdfs namenode -format
    (前提设置环境变量)

14. 启动hdfs
    start-dfs.sh
    启动yarn
    start-yarn.sh
    关闭yarn
    stop-yarn.sh
    关闭hdfs
    stop-dfs.sh

15. 检查
    jps
    

打开浏览器输入master（根据自己的名称顶）：50070 和 master：8088