hadoop集群环境搭建 eclipse 远程连接

Hadoop集群搭建的配置

    主节点 master:  192.168.1.30

     slave0:    192.168.1.31

     slave1:    192.168.1.32

 1、配置hadoop环境变量

         hadoop 安装路径：/ hadoop-2.6.5 /etc/hadoop/hadoop-env.sh

        编辑 hadoop-env.sh 加入 jdk安装路径　即输入 export JAVA_HOME = /usr/java/jdk1.8.0_181/

         

 

2配置Yarn 环境变量

     hadoop安装路径: / hadoop-2.6.5 /etc/hadoop/yarn-env.sh

     即输入 export JAVA_HOME = /usr/java/jdk1.8.0_181/

 

3.配置核心组件

 hadoop安装路径: / hadoop-2.6.5 /etc/hadoop/core-site.xml

编辑文件输入：

 <configuration>
    <property>
    <name>fs.defaultFS</name>
    <value>hdfs://master:9000</value>
    </property>
    <property>
    <name>hadoop.tmp.dir</name>
    <value>/app/install/csu/hadoopdata</value>
    </property>
</configuration>

4.配置文件系统 

  hadoop安装路径: / hadoop-2.6.5 /etc/hadoop/hdfs-site.xml

   编辑文件输入:

   <configuration>
     <!--设置数据块的副本数 系统缺省值为 3-->
    <property>
     <name>dfs.replication</name>
     <value>1</value>
   </property>
  </configuration>

 

5.配置yarn-site.xml 文件

  hadoop安装路径: / hadoop-2.6.5 /etc/hadoop/yarn-site.xml

   编辑文件输入:

<configuration>

<!-- Site specific YARN configuration properties -->
<property>
   <name>yarn.nodemanager.aux-services</name>
   <value>mapreduce_shuffle</value>
</property>
<property>
   <name>yarn.resourcemanager.address</name>
   <value>master:18040</value>
</property>
<property>
   <name>yarn.resourcemanager.scheduler.address</name>
   <value>master:18030</value>
</property>
<property>
   <name>yarn.resourcemanager.resource-tracker.address</name>
   <value>master:18025</value>
</property>
<property>
   <name>yarn.resourcemanager.admin.address</name>
   <value>master:18141</value>
</property>
<property>
   <name>yarn.resourcemanager.webapp.address</name>
   <value>master:18088</value>
</property>


</configuration>

 

6.配置MapReduce 计算框架文件

   复制  / hadoop-2.6.5 /etc/hadoop/mapred-site.xml.template   重命名为  mapred-site.xml

   编辑mapred-site.xml 输入：

<configuration>
    <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
    </property>
</configuration>

7.配置 Master 的slaves文件

  hadoop安装路径: / hadoop-2.6.5 /etc/hadoop/slaves

    启动hadoop的时候，系统跟据当前 slaves文件中的slave节点名称列表启动集群

    编辑 slaves文件加入 节点名称

 

8.复制Master节点 上的 hadoop到slave 节点上

命令 scp -r  /app/install/hadoop-2.6.5 /  root@slave0:~/

9.配置操作系统环境变量

编辑文件：vi    ~/.bash_profile 

保存退出 

source  ~/.bash_profile   使配置生效

10.创建hadoop数据目录 

     mkdir /app/install/csu/hadoopdata/

   与core-site.xml 中配置必需对应

     

 

11.格式化文件系统

    命令:   hdfs namenode -format

12.启动hadoop

   只需要启动Master 主节点上的hadoop

   hadoop安装路径: / hadoop-2.6.5 /sbin

      ./start-all.sh  启动

      ./stop-all.sh 关闭

    启动成功

     Master:

slave0:

slave1:

 

                        windows eclipse连接远程hadoop集群

下载插件

   放入D:\eclipse\plugins 文件下

  需要指定本地 hadoop 安装包路径

 

创建连接

配置完成