Hadoop 2.9 集群的安装 IP版

原创 2018年04月16日 16:29:26

安装hadoop

安装必备库

$ sudo apt-get install ssh 
$ sudo apt-get install rsync
$ sudo apt-get install openjdk-8-jdk

安装hadoop

$ wget http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-2.9.0/hadoop-2.9.0.tar.gz
$ tar -zxvf hadoop-2.9.0.tar.gz
$ sudo mv hadoop-2.9.0 /opt/hadoop
$ cd /opt/hadoop

常用的配置文件

etc/hadoop/core-site.xml
etc/hadoop/hdfs-site.xml
etc/hadoop/yarn-site.xml
etc/hadoop/mapred-site.xml

集群设置

假设主服务器地址为(192.168.71.156),从服务器地址为(192.168.71.158)。

# 每个主服务器应该新增如下数据(ubuntu是我的主机名)
""
127.0.0.1  192.168.71.156 localhost ubuntu
""

# 每个从服务器应该新增如下数据(ubuntu是我的主机名)
""
127.0.0.1  192.168.71.158 localhost ubuntu
""

设置SSH互通

# 生成ssh公钥
> ssh-keygen -t rsa

# 把从服务器的公钥发到主服务器
> scp /home/hdgs/.ssh/id_rsa.pub hdgs@192.168.71.156:~/.ssh/id_rsa.pub.158

# 在主服务器上面设置authorize_key
> cat ~/.ssh/id_rsa.pub* >> ~/.ssh/authorized_keys

# 把主服务器的key发送到从服务器上
> scp /home/hdgs/.ssh/authorized_keys hdgs@192.168.71.158:~/.ssh/

# 测试ssh
> ssh 192.168.71.158

设置JAVA_HOME

$ sudo vim etc/hadoop/hadoop-env.sh 
""
export JAVA_HOME="/usr/lib/jvm/java-1.8.0-openjdk-amd64"
""

配置core-site.xml

修改Hadoop核心配置文件core-site.xml,这里配置主节点namenode的地址和端口号

> vim /opt/hadoop/etc/hadoop/core-site.xml 

加入如下配置:

<configuration>  
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://192.168.71.156:9000</value>
    </property>
</configuration>

配置hdfs-site.xml

# 创建数据文件夹
$ mkdir /opt/hadoop/namenode
$ mkdir /opt/hadoop/datanode

> vim /opt/hadoop/etc/hadoop/hdfs-site.xml

加入如下配置:

<configuration>  
    <!-- 使用IP地址需要添加hostname不检查 -->
    <property>
        <name>dfs.namenode.datanode.registration.ip-hostname-check</name>
        <value>false</value>
    </property>

    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/opt/hadoop/namenode</value>
    </property>

    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/opt/hadoop/datanode</value>
    </property>

     <!-- 设置namenode的http通讯地址 -->
    <property>
        <name>dfs.namenode.http-address</name>
        <value>192.168.71.156:50070</value>
    </property>

    <!-- 设置secondarynamenode的http通讯地址 -->
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>192.168.71.158:50090</value>
    </property>

    <!-- 配置webhdfs中datanode的数据端口 -->
    <property>
        <name>dfs.datanode.http.address</name>
        <value>0.0.0.0:50075</value>
    </property>

    <!-- 配置webhdfs可用 -->
    <property> 
        <name>dfs.webhdfs.enabled</name> 
        <value>true</value> 
    </property> 
</configuration> 

配置yarn-site.xml

$ sudo vim etc/hadoop/yarn-site.xml 
""
<configuration>
    <!-- 设置 resourcemanager 在哪个节点-->
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>192.168.71.156</value>
    </property>

    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>
""

配置mapred-site.xml

$ sudo cp etc/hadoop/mapred-site.xml.template etc/hadoop/mapred-site.xml
$ sudo vim etc/hadoop/mapred-site.xml
""
<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>
""

配置slaves

$ vim etc/hadoop/slaves
""
192.168.71.158
""

hadoop文件夹分发

分发hadoop

将主服务器上配置好的hadoop文件夹分发到所有的从服务器上面。

# 确保从服务器已经存在文件夹
> sudo mkdir /opt/hadoop
> sudo chown hdgs:hdgs /opt/hadoop/

# ccnu_resource为<cluster_name>,随便定吧
$ rm -rf namenode/*
$ rm -rf datanode/*
$ bin/hdfs namenode -format ccnu_resource

> scp -r /opt/hadoop hdgs@192.168.71.158:/opt/

启动

> sbin/start-dfs.sh
> sbin/start-yarn.sh

$ jps
# master
""
21298 Jps
21027 ResourceManager
20724 NameNode
""

# node
""
12656 NodeManager
12418 DataNode
12811 Jps
12557 SecondaryNameNode
""

Web:
http://192.168.71.156:50070/
http://192.168.71.156:8088/cluster

关闭

> ./sbin/stop-dfs.sh
> ./sbin/stop-yarn.sh 

解决问题的方案

Incompatible clusterIDs in /opt/hadoop/datanode

# 主和从服务器都执行
$ rm -rf namenode/*
$ rm -rf datanode/*

# 主服务器执行
$ bin/hdfs namenode -format ccnu_resource
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/andybegin/article/details/79962435

hadoop2.9 伪集群搭建部署

  • 2017年11月24日 16:12
  • 4.72MB
  • 下载

CentOs7下搭载分布式Hadoop2.9

hadoop
  • lxjzqj2007
  • lxjzqj2007
  • 2017-12-21 17:55:02
  • 593

hadoop2.9.0安装与配置 hadoop集群搭建

上一篇我们安装了Linux系统,想要搭建hadoop集群,还需要安装一些软件。比如JDK和hadoop,下面以JDK1.8和hadoop2.9.0为例介绍如何安装与配置。配置完一台Linux后只需要将...
  • yixiao1874
  • yixiao1874
  • 2018-01-16 17:41:03
  • 259

hadoop2.9.0集群搭建

hadoop2.9.0集群搭建 本文主要介绍hadoop2.9.0的搭建。 本文主要参考: 官网指南  centos7 关闭防火墙  centos7 yum 切换成阿里源 centos7 ...
  • wild46cat
  • wild46cat
  • 2017-12-30 21:05:33
  • 634

Linux集群部署系列(五):Hadoop 2.x完全分布式集群部署

1.      部署所需软件介绍 1.1操作系统 版本号:CentOS-7-x86_64-DVD-1503-01.iso 下载地址: http://isoredirect.centos.org/cen...
  • jeffsmish
  • jeffsmish
  • 2015-10-18 18:31:12
  • 1153

Hadoop教程(二)Hadoop伪集群环境安装

Hadoop目录说明: 1. bin: Hadoop最基本的管理脚本和使用脚本所在目录 2. etc: Hadoop配置文件所在的目录,包括core-site.xml、hdfs-site.xml、...
  • yuan_xw
  • yuan_xw
  • 2015-11-25 17:08:01
  • 3292

大数据处理平台Hadoop之安装(基于ubuntu的Hadoop2.9.0,2.X.X同适用)

基于ubuntu的Hadoop2.9.0的安装(Hadoop2.X.X同适用)1.Linux 系统 ,可在虚拟机安装2.创建Hadoop用户若安装Linux系统时创建的用户不是hadoop,则需要创建...
  • EdwinBalance
  • EdwinBalance
  • 2017-11-26 22:41:58
  • 4080

hadoop2.9.0 hdfs环境搭建(伪分布式)

搭建hadoop2.9.0伪分布式步骤   使用了centos7,jdk1.8,hadoop2.9.0  版本算是很新的了.没有使用什么古老的版本.   1.      查看自带的jdk,卸载...
  • u010398771
  • u010398771
  • 2018-01-14 19:18:40
  • 519

Hadoop2.2.0安装配置手册!完全分布式Hadoop集群搭建过程~(心血之作啊~~)

历时一周多,终于搭建好最新版本hadoop2.2集群,期间遇到各种问题,作为菜鸟真心被各种折磨,不过当wordcount给出结果的那一刻,兴奋的不得了~~(文当中若有错误之处或疑问欢迎指正,互相学习)...
  • licongcong_0224
  • licongcong_0224
  • 2013-10-23 16:27:31
  • 76863

基于 CentOS 7.3.x + hadoop v2.9.0 集群的 Hive 2.3.2 的安装与使用

前言安装Apache Hive前提是要先安装hadoop集群,并且hive只需要在hadoop的namenode节点集群里安装即可:需要在namenode上安装,可以不在datanode节点的机器上安...
  • bigtree_3721
  • bigtree_3721
  • 2018-04-08 11:21:40
  • 96
收藏助手
不良信息举报
您举报文章:Hadoop 2.9 集群的安装 IP版
举报原因:
原因补充:

(最多只允许输入30个字)