Centos7 搭建hadoop2.6 HA

最新推荐文章于 2022-04-21 15:38:35 发布
最新推荐文章于 2022-04-21 15:38:35 发布
阅读量92 收藏
点赞数
文章标签： 大数据 运维 java
原文链接：http://www.cnblogs.com/huaxiaoyao/p/4657262.html
版权

 

用户配置：

User :root

Password:toor

2.创建新用户 student

Pwd: student

3．安装virtualbox的增强工具软件

4.系统默认安装的是openjdk 1.7.0.5

没有jps等工具可以使用。

但hadoop应该是可以在openjdk中使用的。

卸载openjdk，下载安装oracle jdk.

for i in $(rpm -qa | grep openjdk | grep -v grep)

do

echo "Deleting rpm -> "$i

rpm -e --nodeps $i

done

 

http://download.oracle.com/otn-pub/java/jdk/7u79-b15/jdk-7u79-linux-x64.tar.gz

wget命令在下载的时候不起作用，oracle网站需要认证。所以wget命令失效了。

手动下载oracle jdk.

tar -zxvf jdk-7u79-linux-x64.tar.gz 

mkdir /usr/java

mv ./jdk1.7.0_79 /usr/java/

 

设置java环境变量

 

JAVA_HOME=/usr/java/jdk1.7.0_79

CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

PATH=$JAVA_HOME/bin:$CLASSPATH:$PATH

export JAVA_HOME CLASSPATH PATH

 

vi 如何快速跳转到文档末尾？ shift+g

跳转至行尾:$

跳转至行首：0

跳转至文件首：gg

 

  1. 创建hadoop用户组以及用户：

    su 只能切换到管理员用户权限,不使用管理员的登陆脚本和搜索路径
    su -  不但能切换到管理员权限而且使用管理员登陆脚本和搜索路径

    原因是我切换用户的时候命令使用不正确。

    添加Hadoop用户和group

    groupadd hadoop

    useradd hadoop -g hadoop

    配置ssh免密码登录

    ssh-keygen -t rsa -P ''

    cat .ssh/id_rsa.pub >> .ssh/authorized_keys

    chmod 600 .ssh/authorized_keys

     

    scp .ssh/id_rsa.pub hadoop@master:/home/hadoop/id_rsa_01.pub

    su
    visudo
    add hadoop to sudo folders
    sudo chkconfig sshd on
    sudo chkconfig sshd status
    sudo service sshd start

使用root用户把当前hadoop用户添加到sudo权限。

然后检查sshd服务是否启动，没有启动的话，添加到开机自动启动。并打开sshd服务，然后进行测试。

ssh localhost

而且当前设置只是ssh1，ssh2的更安全，命令稍加改动即可。

2. 更新主机名

cat /etc/sysconfig/network

sudo vi /etc/sysconfig/network

NETWORKING=yes

NETWORKING_IPV6=no

HOSTNAME=namenode01

3.克隆另外三个硬盘：

vboxmanage clonehd d:\hadoop\hdp_rm.vdi d:\hadoop\hdp_rm2.vdi

vboxmanage clonehd d:\hadoop\hdp_rm.vdi d:\hadoop\hdp_dn1.vdi

vboxmanage clonehd d:\hadoop\hdp_rm.vdi d:\hadoop\hdp_dn2.vdi

创建另外的三个虚拟机

4.修改hadoop的密码

Root用户下

Passwd Hadoop

5.启动虚拟机

配置虚拟机的网络地址并更新hosts

配置为手动配置的IP地址，以防重启后变更。

127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4

::1 localhost localhost.localdomain localhost6 localhost6.localdomain6

192.168.99.100 namenode01

192.168.99.101 namenode02

192.168.99.102 datanode01

192.168.99.103 datanode02

更新ssh公钥私钥，复制公钥到namenode01

在namenode01上集成最全的公钥集合，

然后分发到所有结点。测试免密码访问ssh的效果，保证其能正常访问。

 

6.关闭防火墙配置

7.

在namenode01,datanode01,datanode02上安装zookeeper

wget http://apache.dataguru.cn/zookeeper/zookeeper-3.4.6/zookeeper-3.4.6.tar.gz

配置zoo.cfg

datadir

和

server信息

配置环境变量

vi .bashrc

export HADOOP_HOME=/usr/hadoop26

export ZK_HOME=/home/hadoop/zookeeper-3.4.6

export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME

使环境变量生效：

Source ~/.bashrc

启动测试

ZkServer.sh start

Jps

Netstat –an | grep 2181

CentOS 7.0默认使用的是firewall作为防火墙，这里改为iptables防火墙。

1、关闭firewall：

systemctl stop firewalld.service #停止firewall

systemctl disable firewalld.service #禁止firewall开机启动

二、关闭SELINUX

vi /etc/selinux/config

#SELINUX=enforcing #注释掉

#SELINUXTYPE=targeted #注释掉 IT网，http://www.it.net.cn

SELINUX=disabled #增加 Linux学习，http:// linux.it.net.cn

:wq! #保存退出

setenforce 0 #使配置立即生效

通过检查zkServer.sh status的时候可能会发生问题，原因是我们的防火墙规则没有配好，

为了简便起见，直接关闭防火墙。如上所述。

 

格式化namenode失败：

Hadoop namenode –format

Call From namenode01/192.168.99.100 to namenode01:8485 failed on connection exception: java.net.ConnectException: Connection refused;

先启动journal node之后再格式化即可。

由于我们配置了QJM，所以我们需要先启动QJM的服务，启动顺序如下所示：

  1. 进入到DN节点，启动zk的服务：zkServer.sh start，之后可以输入zkServer.sh status查看启动状态，本次我们配置了三个DN节点，会出现一个leader和两个follower。输入jps，会显示启动进程：QuorumPeerMain
  2. 在NN节点上（选一台即可，这里我选择的是一台预NNA节点），然后启动journalnode服务，命令如下：hadoop-daemons.sh start journalnode。或者单独进入到每个DN输入启动命令：hadoop-daemon.sh start journalnode。输入jps显示启动进程：JournalNode。
  3. 接着若是配置后，我们首次启动，需要格式化HDFS，命令如下：hadoop namenode –format。
  4. 之后我们需要格式化ZK，命令如下：hdfs zkfc -formatZK。
  5. 接着我们启动hdfs和yarn，命令如下：start-dfs.sh和start-yarn.sh，我们在nna输入jps查看进程，显示如下：DFSZKFailoverController，NameNode，ResourceManager。
  6. 接着我们在NNS输入jps查看，发现只有DFSZKFailoverController进程，这里我们需要手动启动NNS上的namenode和ResourceManager进程，命令如下：hadoop-daemon.sh start namenode和yarn-daemon.sh start resourcemanager。需要注意的是，在NNS上的yarn-site.xml中，需要配置指向NNS，属性配置为rm2，在NNA中配置的是rm1。
  7. 最后我们需要同步NNA节点的元数据，命令如下：hdfs namenode –bootstrapStandby，若执行正常，日志最后显示如下信息

 

转载于:https://www.cnblogs.com/huaxiaoyao/p/4657262.html

weixin_30248399
关注
centos7 搭建ha(高可用)hadoop2.7.3集群
井桂印
06-29 3604
写在前面作为一个单体应用开发人员对于理解分布式应用和微服务的理论还可以。但是部署分布式环境来说还是一个挑战。最近在学习hadoop，正也把学习的东西分享出来，希望帮助感兴趣的人。 前面一章写了centos7搭建hadoop集群 再跟着做本章实验前建议初学者先去实验上一章的内容。有任何问题欢迎反馈，我也好做出修改。 ha(高可用)hadoop2.7.3集群,主要是为了消除spof(单点故障)，解
centos7 搭建hadoop集群 zookeeper Hbase集群
Justdoforever的博客
06-09 456
集群规划： 主机名 IP 安装的软件 master 192.168.1.201 jdk、hadoop、zookeeper slave1 192.168.1.202 jdk、hadoop、zookeeper slave2 192.168.1.203 jdk、hadoop、zookeeper 先在master上安装jdk（建议非...
Hadoop（二）CentOS7.5搭建Hadoop2.7.6完全分布式集群
dengshuabi6933的博客
05-16 221
一 完全分布式集群(单点） Hadoop官方地址：http://hadoop.apache.org/ 1 准备3台客户机 1.1防火墙,静态IP,主机名 关闭防火墙，设置静态IP，主机名此处略，参考Linux之CentOS7.5安装及克隆 1.2 修改host文件 我们希望三个主机之间都能够使用主机名称的方式相互访问而不是IP，我们需要在hosts中配置其他主机的hos...
大数据学习系列3-Centos6.7下搭建hadoop-2.6.5 ha集群
wademylove的博客
09-04 258
前期准备，可以参考上一篇 大数据学习系列2-Centos6.7下搭建hadoop-2.6.5集群 https://blog.csdn.net/wademylove/article/details/81943946 1.修改Linux主机名 2.修改IP 3.修改主机名和IP的映射关系 /etc/hosts ######注意######如果你们公司是租用的服务器或是使用的云主机（如华为用...
Hadoop2.6.5搭建HA（高可用）
andyguan01_2的博客
03-20 1477
一、环境 操作系统：CentOS6.9 软件版本：Hadoop2.6.5，Zookeeper3.4.13 集群架构： 我手上有3台服务器，一台作为主NameNode，一台作为备NameNode和DataNode1，剩下一台作为DataNode2。也就是在3台服务器上面部署一主一备NameNode+两个DataNode。另外，由于JournalNode和ZK都至少为3个，且为奇数个，在3台服务器上面...
centos7搭建hadoop2.10高可用(HA)
终极冥帝
02-04 690
本篇介绍在centos7中搭建hadoop2.10高可用集群，首先准备6台机器：2台nn(namenode);4台dn(datanode)；3台jn(journalnode)；3台zk(zookeeper) IP hostname 进程 192.168.30.141 s141 nn1（namenode），zkfc（DFSZKFailoverController），zk（QuorumPee...
Hadoop2.6集群环境搭建（HDFS HA+YARN）
02-12
在搭建Hadoop 2.6集群环境时，我们需要关注几个关键组件：HDFS（Hadoop Distributed File System）的高可用性（HA）以及YARN（Yet Another Resource Negotiator）。这个过程涉及多台虚拟机的配置，包括安装操作系统...
4G内存笔记本搭建Hadoop2.6集群指南：从安装到配置详解
本文档主要介绍了如何在Windows环境下，利用4GB内存的笔记本电脑搭建Hadoop2.6集群环境，特别关注HDFS High Availability (HA)和YARN的配置。以下是详细的步骤： 1. 准备工作： - 使用工具：作者推荐使用VMware ...
hadoop2.6+hive+oozie+sqoop+hue集群搭建
Chao_Qing的专栏
01-20 1377
hadoop集群搭建一、 环境说明二、 环境搭建1. Linux系统准备2. 安装jdk8并设置环境变量3. 安装mysql4. 安装hadoop5. 安装hive6. 安装sqoop7. 安装oozie8. 安装hue9. 结果展示10. 启动集群脚本 一、 环境说明 我使用的是笔记本电脑，一台8G内存，一台4G内存，然后在笔记本上搭建虚拟机centos7.0当作搭建hadoop的机器，最终的结...
Hadoop2.6高可用集群搭建详解
"Hadoop2.6高可用集群搭建手册" 在搭建Hadoop2.6高可用集群时，首先需要了解系统的具体环境。本手册基于Linux操作系统，内核版本为3.10.0-1062.18.1.el7.x86_64，发行版为CentOS Linux 7.7.1908。在这样的系统环境...
从CentOS到Hadoop（Linux CentOS 7 安装配置Hadoop伪分布过程详解）
ADwenwen的博客
07-31 4765
目录 零、前言 一、虚拟机安装及CentOS系统配置 二、CentOS系统及网络配置 三、SSH无密码登录 四、Java安装及环境配置 五、Hadoop0.20.0伪分布环境安装 六、运行示例 七、参考与感谢 零、前言 （一）、前言 最近在做wikipedia的东西，需要大规模处理数据，因此就需要使用hadoop工具操作。一开始想安装的linux版本是ubuntu 14和ha...
【FATE - 2】Centos7上Hadoop + Spark集群部署
sun_5flower的博客
08-05 595
本文参考至Fate集群部署下的hadoop+spark集群部署指南, 仅记录本人部署过程中的操作历程。 一、系统准备 【1】、集群规划 节点名称 主机名 IP地址 操作系统 Master VM-0-1-centos 192.168.26.128 CentOS 7.2 Slave1 VM-0-2-centos 192.168.26.129 CentOS 7.2 Slave2 VM-0-3-centos 192.168.26.130 Centos 7.2 【2】、基础环境配置 1、
CentOS7搭建部署Ambari 2.6.2.0最新版(HDP-UTILS、HDP-GPL)大数据平台
sinat_28371057的博客
09-12 1762
Ambari 2.6.2 中 HDFS-2.7.3 YARN-2.7.3 HIVE-1.2.1 HBASE-1.1.2 ZOOKEEPER-3.4.6 SPARK-2.3.0 注：本文基于root用户操作 一、安装环境准备 操作系统 centos7.5 hdc-data1：192.168.163.51 hdc-data2：192.168.163.52 hdc-data3：192.168.163.53 【安装环境准备每台集群机器一样的操作，或者使用scp远程拷贝】 1、主机名IP映射配置.
Hadoop2.6..0 HA高可靠性集群搭建(Hadoop+Zookeeper)
liuweilong09的博客
01-11 799
1.  关闭防火墙 vi  /etc/selinux/config 在 SELINUX=enforcing 前面加个#号注释掉它 #SELINUX=enforcing 然后新加一行SELINUX=disabled 保存，退出，重启系统，就可以彻底关闭firewall了。 2.  修改IP vi /etc/sysconfig/network-scripts/ifcfg-eth0  
Hadoop-HA集群安装部署
RomanyK的博客
04-21 4278
HA高可用集群安装部署 两台主节点一台从节点（即一台active、一台standby，条件允许也可配多台standby）解决单点故障
hadoop 2.6 HA搭建
simon的专栏
12-23 733
准备条件 zookeeper集群已配置好（172.16.12.85,172.16.12.88,172.16.12.91），并且zookeeper集群已启动，zookeeper版本为zookeeper-3.4.5-cdh5.4.2ssh都已配置好hadoop版本为2.6.0-cdh5.5.1 集群规划 第一步，配置core-site.xml文件。
Centos7搭建hadoop2.7
archer的技术故事
11-10 569
Centos7搭建hadoop2.7（原文地址http://www.open-open.com/lib/view/open1435761287778.html） 总体思路，准备主从服务器，配置主服务器可以无密码SSH登录从服务器，解压安装JDK，解压安装Hadoop，配置hdfs、mapreduce等主从关系。 1、环境，3台CentOS7，64位，Hadoop2.7需要64位Linux，
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值