ubuntu16.04安装hadoop3.1.2-集群

最新推荐文章于 2022-04-01 14:19:01 发布
最新推荐文章于 2022-04-01 14:19:01 发布
阅读量656 收藏 4
点赞数
文章标签： ubuntu hadoop 集群
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/shuoyu816/article/details/90573531
版权

一、安装环境

    hadoop版本：3.1.2
    系统类型：ubuntu-server-16.04 3台
    jdk版本：1.8

二、安装过程

1、系统配置（三台服务器都要配置）

    查看或修改主机名
    sudo vim /etc/hostname
    修改网络映射
    sudo vim /etc/hosts
    192.168.1.121       hadoop-master
    192.168.1.122       hadoop-slave0
    192.168.1.123       hadoop-slave1
    删除以下网络映射
    127.0.0.1       hadoop-master

    添加用户组和用户
    sudo addgroup hadoop
    sudo adduser -ingroup hadoop hadoop

    配置Hadoop用户为管理员权限
    sudo vim /etc/sudoers
        hadoop    ALL=(ALL:ALL) ALL
    切换用户
    su hadoop
    设置ssh免密登陆（主从机都要设置）
    ssh-keygen -t rsa
    cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
    ssh localhost
    exit

    复制主机pubKey至从机
    ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop-slave0
    ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop-slave1

    设置权限
    chmod 700 ~/.ssh
    chmod 600 ~/.ssh/authorized_keys

    master上测试sleve连接
        ssh 192.168.1.122
        ssh 192.168.1.123
    slave上测试master连接
        ssh 192.168.1.121

2、安装

    (1)安装jdk
        解压安装文件并移动到安装目录
        tar -zxvf jdk-8u151-linux-x64.tar.gz
        sudo mv jdk-8u151-linux-x64 /usr/local/jdk1.8
        
        配置环境变量
        sudo vim /etc/profile
            export JAVA_HOME=/usr/local/jdk1.8
            export JRE_HOME=${JAVA_HOME}/jre
            export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
            export PATH=.:$PATH:${JAVA_HOME}/bin
        文件修改生效
        source /etc/profile
        测试安装
        java -version

    (2)安装zookeeper
        解压安装文件并移动到要安装目录
        tar -xzvf zookeeper-3.4.9.tar.gz
        mv zookeeper-3.4.9 /usr/local/zookeeper
    
        配置环境变量
        sudo vim /etc/profile
            export ZOOKEEPER_HOME=/usr/local/zookeeper
            export PATH=$ZOOKEEPER_HOME/bin:$PATH    
        source /etc/profile
    
        配置zookeeper
        cp /usr/local/zookeeper/conf/zoo_sample.cfg /usr/local/zookeeper/conf/zoo.cfg
        vim zoo.cfg
            tickTime=2000
            initLimit=10
            syncLimit=5
            dataDir=/usr/local/zookeeper/data
            clientPort=2181
            server.1=hadoop-master:2888:3888
            server.2=hadoop-slave0:2888:3888
            server.3=hadoop-slave1:2888:3888
        每个节点/usr/local/zookeeper/data目录下写入对应ID
            echo "1" > myid
            echo "2" > myid
            echo "3" > myid
        启动zookeeper
            zkServer.sh start
            查看各个zk节点状态
            zkServer.sh status
        zk客户端连接并验证
            zkCli.sh -server hadoop-master:2181
            ls /
            quit
        
        说明：配置部分三台机器都需要，可用同步命令
            scp /etc/profile hadoop-slave0:/etc
            scp -r /usr/local/zookeeper hadoop-slave0:/usr/local/zookeeper
    (3)安装hadoop
        解压安装文件并移动到要安装目录
        tar -zxvf hadoop-3.1.2.tar.gz
        sudo mv hadoop-3.1.2 /usr/local/hadoop/hadoop-3.1.2
        给hadoop安装目录设置用户操作权限
        sudo chown -R hadoop:hadoop /usr/local/hadoop


        配置环境变量
        sudo vim /etc/profile
            export HADOOP_HOME=/usr/local/hadoop/hadoop-3.1.2
            export PATH=$HADOOP_HOME/bin:$PATH
            export PATH=$PATH:$HADOOP_HOME/sbin
        配置文件生效
        source /etc/profile

3、配置hadoop

    (1)配置hadoop-env.sh文件
    sudo vim /usr/local/hadoop/hadoop-3.1.2/etc/hadoop/hadoop-env.sh
    设置JAVA_HOME
        export JAVA_HOME=/usr/local/jdk1.8
    配置生效
    source /usr/local/hadoop/hadoop-3.1.2/etc/hadoop/hadoop-env.sh
    (2)配置core-site.xml
        <property>
            <name>fs.defaultFS</name>
            <value>hdfs://ns1</value>
        </property>
        <property>
            <name>hadoop.tmp.dir</name>
            <value>/usr/local/hadoop/data</value>
        </property>
        <!--zookeeper配置 -->
        <property>
            <name>ha.zookeeper.quorum</name>
            <value>hadoop-master:2181,hadoop-slave0:2181,hadoop-slave1:2181</value>
        </property>
    (3)配置hdfs-site.xml    
        <property>
            <name>dfs.webhdfs.enabled</name>
            <value>true</value>
        </property>
        <property>
            <name>dfs.permissions.enabled</name>
            <value>false</value>
        </property>
        <!--指定hdfs的nameservice为ns1，需要和core-site.xml中的保持一致 -->
        <property>
            <name>dfs.nameservices</name>
            <value>ns1</value>
        </property>
        <!-- hadoop-master下面有两个NameNode，分别是nn1，nn2 -->
        <property>
            <name>dfs.ha.namenodes.ns1</name>
            <value>nn1,nn2</value>
        </property>
        <!-- nn1的RPC通信地址 -->
        <property>
            <name>dfs.namenode.rpc-address.ns1.nn1</name>
            <value>hadoop-master:9000</value>
        </property>
        <!-- nn1的http通信地址 -->
        <property>
            <name>dfs.namenode.http-address.ns1.nn1</name>
            <value>hadoop-master:9870</value>
        </property>
        <!-- nn2的RPC通信地址 -->
        <property>
            <name>dfs.namenode.rpc-address.ns1.nn2</name>
            <value>hadoop-slave0:9000</value>
        </property>
        <!-- nn2的http通信地址 -->
        <property>
            <name>dfs.namenode.http-address.ns1.nn2</name>
            <value>hadoop-slave0:9870</value>
        </property>
        <!-- 指定NameNode的edits元数据在JournalNode上的存放位置，可以配置地址或管理脚本 -->
        <!-- <value>file:///usr/local/hadoop/data/ha/ha-name-dir-shared</value> -->
        <property>
            <name>dfs.namenode.shared.edits.dir</name>
            <value>qjournal://hadoop-master:8485;hadoop-slave0:8485;hadoop-slave1:8485/ns1</value>
        </property>
        <!-- 指定JournalNode在本地磁盘存放数据的位置 -->
        <property>
            <name>dfs.journalnode.edits.dir</name>
            <value>/usr/local/hadoop/data/ha/journalnode</value>
        </property>
        <!-- 开启NameNode失败自动切换 -->
        <property>
            <name>dfs.ha.automatic-failover.enabled</name>
            <value>true</value>
        </property>
        <!-- 配置失败自动切换实现方式 -->
        <property>
            <name>dfs.client.failover.proxy.provider.ns1</name>
            <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
        </property>
        <!-- 配置隔离机制方法，多个机制用换行分割，即每个机制暂用一行-->
        <property>
            <name>dfs.ha.fencing.methods</name>
            <value>sshfence</value>
        </property>
        <!-- 使用sshfence隔离机制时需要ssh免登陆 -->
        <property>
            <name>dfs.ha.fencing.ssh.private-key-files</name>
            <value>/home/hadoop/.ssh/id_rsa</value>
        </property>
        <!-- 配置sshfence隔离机制超时时间 -->
        <property>
            <name>dfs.ha.fencing.ssh.connect-timeout</name>
            <value>30000</value>
        </property>
    (4)配置mapred-site.xml
        <!-- 指定mr框架为yarn方式 -->
        <property>
            <name>mapreduce.framework.name</name>
            <value>yarn</value>
        </property>
        <property>
            <name>yarn.app.mapreduce.am.env</name>
            <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
        </property>
        <property>
            <name>mapreduce.map.env</name>
            <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
        </property>
        <property>
            <name>mapreduce.reduce.env</name>
            <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
        </property>
    (5)配置yarn-site.xml
        <!-- 开启RM高可用 -->
        <property>
            <name>yarn.resourcemanager.ha.enabled</name>
            <value>true</value>
        </property>
        <!-- 指定RM的cluster id -->
        <property>
            <name>yarn.resourcemanager.cluster-id</name>
            <value>yrc</value>
        </property>
        <!-- 指定RM的名字 -->
        <property>
            <name>yarn.resourcemanager.ha.rm-ids</name>
            <value>rm1,rm2</value>
        </property>
        <!-- 分别指定RM的地址 -->
        <property>
            <name>yarn.resourcemanager.hostname.rm1</name>
            <value>hadoop-master</value>
        </property> 
        <property>
            <name>yarn.resourcemanager.hostname.rm2</name>
            <value>hadoop-slave0</value>
        </property>
        <property>
            <name>yarn.resourcemanager.webapp.address.rm1</name>
            <value>hadoop-master:8088</value>
        </property>
        <property>
            <name>yarn.resourcemanager.webapp.address.rm2</name>
            <value>hadoop-slave0:8088</value>
        </property>
        
        <!-- 指定zk集群地址 -->
        <property>
            <name>yarn.resourcemanager.zk-address</name>
            <value>hadoop-master:2181,hadoop-slave0:2181,hadoop-slave1:2181</value>
        </property>
        <property>
            <name>yarn.nodemanager.aux-services</name>
            <value>mapreduce_shuffle</value>
        </property>
        <!-- 是否启用日志聚合功能，日志聚合开启后保存到HDFS上 -->
        <property>
            <name>yarn.log-aggregation-enable</name>
            <value>true</value>
        </property>
        <!-- 聚合后的日志在HDFS上保存多长时间，单位为s -->
        <property>
            <name>yarn.log-aggregation.retain-seconds</name>
            <value>86400</value>
        </property>
        <!-- 启用自动恢复 -->
        <property>
            <name>yarn.resourcemanager.recovery.enabled</name>
            <value>true</value>
        </property>
        <!-- 制定resourcemanager的状态信息存储在zookeeper集群上 -->
        <property>
            <name>yarn.resourcemanager.store.class</name>
            <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
        </property>
        <!-- 是否将对容器实施虚拟内存限制  -->
        <property>
            <name>yarn.nodemanager.vmem-check-enabled</name>
            <value>false</value>
        </property>
        <property>
            <name>yarn.nodemanager.vmem-pmem-ratio</name>
            <value>5</value>
        </property>
    (6)workers文件中设置集群从机
        hadoop-slave0
        hadoop-slave1
    (7)同步配置文件到其它服务器
        scp -r /usr/local/hadoop/hadoop-3.1.2/etc/hadoop/core-site.xml hadoop@hadoop-slave0:/usr/local/hadoop/hadoop-3.1.2/etc/hadoop/core-site.xml
        scp -r /usr/local/hadoop/hadoop-3.1.2/etc/hadoop/core-site.xml hadoop@hadoop-slave1:/usr/local/hadoop/hadoop-3.1.2/etc/hadoop/core-site.xml

        scp -r /usr/local/hadoop/hadoop-3.1.2/etc/hadoop/hdfs-site.xml hadoop@hadoop-slave0:/usr/local/hadoop/hadoop-3.1.2/etc/hadoop/hdfs-site.xml
        scp -r /usr/local/hadoop/hadoop-3.1.2/etc/hadoop/hdfs-site.xml hadoop@hadoop-slave1:/usr/local/hadoop/hadoop-3.1.2/etc/hadoop/hdfs-site.xml

        scp -r /usr/local/hadoop/hadoop-3.1.2/etc/hadoop/mapred-site.xml hadoop@hadoop-slave0:/usr/local/hadoop/hadoop-3.1.2/etc/hadoop/mapred-site.xml
        scp -r /usr/local/hadoop/hadoop-3.1.2/etc/hadoop/mapred-site.xml hadoop@hadoop-slave1:/usr/local/hadoop/hadoop-3.1.2/etc/hadoop/mapred-site.xml

        scp -r /usr/local/hadoop/hadoop-3.1.2/etc/hadoop/yarn-site.xml hadoop@hadoop-slave0:/usr/local/hadoop/hadoop-3.1.2/etc/hadoop/yarn-site.xml
        scp -r /usr/local/hadoop/hadoop-3.1.2/etc/hadoop/yarn-site.xml hadoop@hadoop-slave1:/usr/local/hadoop/hadoop-3.1.2/etc/hadoop/yarn-site.xml
        
        scp -r /usr/local/hadoop/hadoop-3.1.2/etc/hadoop/workers hadoop@hadoop-slave0:/usr/local/hadoop/hadoop-3.1.2/etc/hadoop/workers
        scp -r /usr/local/hadoop/hadoop-3.1.2/etc/hadoop/workers hadoop@hadoop-slave1:/usr/local/hadoop/hadoop-3.1.2/etc/hadoop/workers

4、启动hadoop集群

    (1)启动各个节点zookeeper
        zkServer.sh start
        查看各个zk节点状态
        zkServer.sh status
    (2)启动hadoop-master hadoop-slave0 hadoop-slave1 的journalnode
        hdfs --daemon start journalnode
        或
        hadoop-daemon.sh start journalnode
    (3)在hadoop-master或hadoop-slave0上启动namenode（这里选择在hadoop-master上启动）
        namenode格式化(只第一次启动时执行一次)
        hdfs namenode -format
        启动当前namenode
        hadoop-daemon.sh start namenode
        hdfs --daemon start namenode
        
        同步namenode数据(hadoop-slave0上操作)
        hdfs namenode -bootstrapStandby

        验证同步
        cat /usr/local/hadoop/data/dfs/name/current/VERSION

    (4)zk格式化（hadoop-master执行，第一次启动执行一次）
        hdfs zkfc -formatZK
        
        zk客户端连接并验证
        zkCli.sh -server hadoop-master:2181
        ls /
        ls /hadoop-ha
        quit

    (5)启动集群
        start-dfs.sh
        启动master的datanode（master节点datanode未启动，可能workers中要增加主节点）
        hdfs --daemon start datanode
        start-yarn.sh
        jps查看各个节点启动情况

    (6)验证
        获取namenode节点状态
        hdfs haadmin -getServiceState nn1
        hdfs haadmin -getServiceState nn2

        如果两台机器都为standby，则强制切换namenode节点nn1为active
        hdfs haadmin -transitionToActive --forcemanual nn1

    (7)web页面访问
        http://hadoop-master:9870/
        http://hadoop-slave0:9870/

三、其它

    启动namenode
        hdfs --daemon start namenode
        hdfs --daemon start secondarynamenode 
    datanode节点宕机后重启
        hdfs --daemon start datanode
        yarn --daemon start nodemanager
        yarn --daemon start resourcemanager    

    开启防火墙
    sudo ufw enable

    关闭防火墙
    sudo ufw disable

    查看防火墙状态
    sudo ufw status

    检查端口监听情况
    netstat -an | grep 9000


 

朔语
关注
  • 0
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
ubuntu上hadoop的安装
蛐蛐的博客
09-02 336
下载hadoop: http://hadoop.apache.org/releases.html 这里下载3.1.1版本 配置文件,所有配置文件在./etc/hadoop下面 core-site.xml &lt;?xml version="1.0" encoding="UTF-8"?&gt; &lt;?xml-stylesheet type="text/xsl" href...
Ubuntu16.04LTS安装及配置Hadoop
Mindyu的博客
05-14 572
前言   这学期有一门云计算的课程，有接触到Hadoop，后来需要完成Hadoop的安装及配置，折腾了好久，决定以此记录下来。以供学习！课本附录简单介绍了在Windows上的安装及配置过程，但是推荐在Linux系统下完成，正好对Linux系统及一些命令比较感兴趣，趁着这个机会正好学习一波。以此记录之！ Hadoop简介 此处引用百度百科： Hadoop是一个由Apache基金会...
Ubuntu 12.04安装Hadoop
筚路蓝缕 以启山林
03-10 726
在Ubuntu 12.04安装Hadoop过程详解。 相关阅读： 在Ubuntu 12.10 上安装部署Openstack http://www.linuxidc.com/Linux/2013-08/88184.htm Ubuntu 12.04 OpenStack Swift单节点部署手册 http://www.linuxidc.com/Linux/2013-08/88182.h
Ubuntu 16.04安装Hadoop 2.7.3
conanswp的专栏
05-30 1178
Ubuntu 16.04安装Hadoop 2.7.3。
ubuntu16.04 hadoop与spark安装
Hello World
03-18 1473
关于平台选择的问题 目前分布式计算框架主要是在linux系统下开发，因此选择ubuntu或者centos都没有问题。 spark发展到现在，很多方面都已经十分完善，其速度与性能等也比hadoop好不止一个数量级，因此，主要使用spark进行分布式计算框架的学习。但是hadoop中的HDFS文件系统应用广泛，spark默认也采用hadoop的HDFS文件系统，因此安装时，首先安装配置hadoop...
Ubuntu16.04搭建Hadoop2.6.7-纯命令.docx
09-19
《Ubuntu16.04搭建Hadoop2.6.7-纯命令》 在大数据处理领域，Hadoop作为开源框架的佼佼者，扮演着至关重要的角色。本实验报告主要探讨了如何在Ubuntu 16.04操作系统上搭建Hadoop 2.6.7的伪分布式环境，同时涉及到了...
ubuntu16.04下安装openssh-server报依赖错误的完美解决方法(非常不错)
01-10
问题：系统重装后，安装和配置SSH，防火墙配置 #安装install openssh-server sudo apt install openssh-server -y 遇到问题： sudo apt install openssh-server -y 正在读取软件包列表… 完成 正在分析软件包的...
Ubuntu16.04搭建Hadoop2.6.7-图文详细版.docx
09-19
本节将详细介绍在Ubuntu16.04系统上配置Hadoop伪分布式的步骤，主要包括环境准备、SSH免密码登录配置、Java环境安装等内容。 ##### 实验环境 - **操作系统**：Ubuntu16.04 - **Java环境**：JDK 1.8.0_181 - **...
Ubuntu16.04离线安装软件-离线安装包vsftpd-3.0.3
06-10
有时候会遇到客户是内网环境的...2、然后执行命名 dpkg -i vsftpd_3.0.3-3ubuntu2_amd64.deb 进行安装 3、进行ftp配置即可，不动配置的可看我上一博客（https://blog.csdn.net/qq_32648289/article/details/123654639）
Ubuntu16.04离线安装软件-离线安装包mysql5.7.33
06-10
在Ubuntu 16.04操作系统中，有时由于网络限制，我们无法直接使用`apt install`命令在线安装MySQL Server 5.7.33。此时，我们需要采用离线安装的方法来解决这个问题。以下是一个详细的步骤指南，涵盖了如何使用提供的...
Ubuntu下的Hadoop安装教程
06-07
在ubuntu12.04操作系统上搭建hadoop开发环境
Ubuntu 16.04 虚拟机下构建hadoop完全分布式集群
06-26
文档为本人亲自编写，由于能力有限，如发现错误，欢迎批评指正。同时，欢迎有安装过程中有问题的小伙伴们一起交流学习。
Hadoop安装教程_单机/伪分布式配置_Hadoop2.7.1/Ubuntu 16.04
11-01
Hadoop安装教程_单机/伪分布式配置_Hadoop2.7.1/Ubuntu 16.04
基于ubuntu安装Hadoop详细过程
06-28
在Mac虚拟机上使用ubuntu安装Hadoop 的详细过程，中科院数据库新技术大作业。
Ubuntu16.04下Hadoop的本地安装与配置
weixin_41034044的博客
04-09 182
转载自：ColdCode 原文链接：https://www.cnblogs.com/sench/p/8542175.html Ubuntu16.04下Hadoop的本地安装与配置 一、系统环境 os : Ubuntu 16.04 LTS 64bit jdk : 1.8.0_161 hadoop : 2.6.4 部署时使用的用户名为hadoop，下文中需要使用用户名的地方请更改为自...
Ubuntu Hadoop安装
github_38160694的博客
01-11 481
一）安装hadoop 首先确保正确地安装和配置了jdk，同安装jdk方式基本相同，最后写配置 export HADOOP_HOME=/usr/hadoop/hadoop2 export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin 除了/etc/profile.d/下新键sh文件外，注意ubuntu要在各个用户家目录下的.bashrc写配置...
Ubuntu下的Hadoop安装
qq_56437391的博客
04-01 5405
Ubuntu下的Hadoop安装
Ubuntu安装Hadoop
qq_43413373的博客
04-22 789
安装Hadoop时Ubuntu必备软件： Java，并且JDK版本必须与Hadoop配对，查看此网站 ssh，且ssh必须运行 正式安装: 安装并配置java
ubuntu hadoop安装以及配置
univeryinli的专栏
06-04 589
一、linux下java环境的配置 1、  下载linux版本的jdk安装包，我用的就是jdk-6u43-linux-i586.bin（二进制文件） 执行Apt-get install  /opt/jdk-6u43-linux-i586.bin 将文件安装在/opt/路径下 2、  Jdk开发环境的配置 执行vim /etc/profile 将下面代码加入profile文本最后面 ...
ubuntu16.04安装hadoop3.1.3
最新发布
03-16
以下是Ubuntu 16.04安装Hadoop 3.1.3的步骤： 1. 下载Hadoop 3.1.3的二进制文件，可以从官网下载：https://hadoop.apache.org/releases.html#Download 2. 解压缩下载的文件，将解压后的文件夹移动到/usr/local/...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值