CentOS7安装Hadoop和zookeeper的各种问题

最新推荐文章于 2024-05-12 14:37:07 发布
最新推荐文章于 2024-05-12 14:37:07 发布
阅读量2k 收藏 4
点赞数 3
分类专栏： 日常折腾 文章标签： Hadoop zookeeper CentOS7 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/while0l1/article/details/103218341
版权

最近在上大数据选修课，课程实验需要在CentOS上安装Hadoop和zookeeper，遇到了很多问题，记录一下。（原本准备从头写个完整的安装记录的，发现我实在是不想回头看一遍了，就记录一些需要注意的地方吧）
在这里插入图片描述

虚拟机的安装

安装过程按照书上面来基本没有什么问题，需要注意的地方是：
选择启用网络和最小安装，还有设置root密码
（最小安装时没有图形界面，不过咱们也用不上）
在这里插入图片描述在这里插入图片描述
在这里插入图片描述

安装ifconfig

启动系统后输入ifconfig没找到命令
输入yum install net-tools，根据提示输入y就安装完成了，注意安装软件得先切换为root用户。
这时可以输入ifconfig来查看IP地址和网卡名在这里插入图片描述
上面eth0和192.168.153.101是我修改好的，刚刚装好的网卡应该是ensxx，比如我的是ens33，修改步骤看下面。

SSH连接进行操作

经过ifconfig得到IP地址后我们就可以用ssh来操作了，这样复制粘贴都还方便点。ssh连接的软件有很多，个人觉得Mobaxterm挺不错的。
在这里插入图片描述在这里插入图片描述
新建Session，填入IP地址和root，双击左边侧栏出现的选项就可以连接
在这里插入图片描述
左侧是目录，方便我们找到文件路径，也可以进行一些文件上传的操作（后面上传hadoop、jdk和zookeeper都可以在这里搞）

修改网卡名和IP地址

刚装好的CentOS7，网卡名称不是书上面说的eth0，所以很多同学改了ifcfg-eth0发现没用效果，所以我们要进行一些修改

  • 首先修改grub
    在root用户下，输入
    vi /etc/sysconfig/grub，添加这两个参数，net.ifnames=0 biosdevname=0。如图：
    在这里插入图片描述
    :wq保存退出。
  • 输入grub2-mkconfig -o /boot/grub2/grub.cfg，如图
    在这里插入图片描述
  • 将ifcfg-ens33重命名为ifcfg-eth0
    我们先看一下/etc/sysconfig/network-scripts/下的文件
    在这里插入图片描述
    注意这里的ifcfg-ens33，你的可能是别的名称（跟ifconfig上面显示的一样）。
    重命名，输入
    mv /etc/sysconfig/network-scripts/ifcfg-ens33 /etc/sysconfig/network-scripts/ifcfg-eth0
  • 修改eth0文件，输入
    vi /etc/sysconfig/network-scripts/ifcfg-eth0
    修改为：
PROXY_METHOD="none"
BROWSER_ONLY="no"
DEFROUTE="yes"
IPV4_FAILURE_FATAL="no"
IPV6INIT="yes"
IPV6_AUTOCONF="yes"
IPV6_DEFROUTE="yes"
IPV6_FAILURE_FATAL="no"
IPV6_ADDR_GEN_MODE="stable-privacy"
NAME="eth0"
UUID="9f7ed09b-c21b-43e2-b089-688effe1d1fa"
HWADDR=00:0C:29:7E:73:B9
DEVICE="eth0"

ONBOOT=yes
BOOTPROTO=static
IPADDR=192.168.153.101
NETMASK=255.255.255.0
GATEWAY=192.168.153.2
DNS1=192.168.153.2

这里的HWADDR修改为你实际的值，通过ip addr查看
在这里插入图片描述
后面复制出5台虚拟机后，也要修改这里的HWADDR为实际值，还有DEVICE="eth0"和NAME="eth0"也是要改的(eth1、eth2…)
修改完注意要重启虚拟机

  • 修改完IP地址后，Mobaxterm的ssh对应IP地址也要修改，VMware也要相应地修改：
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

CentOS7关闭防火墙

CentOS7关闭防火墙的方式跟书上不一样
停止防火墙：systemctl stop firewalld
开机禁用防火墙：systemctl disable firewalld
查看防火墙状态：systemctl status firewalld

zookeeper安装

zookeeper启动后执行jps后发现没有QuorumPeerMain，可能是装的版本缺少了jar文件，也有可能是前面hadoop配置文件写错了，可以查看输出日志（就是那个xxx.out文件）

  • zookeeper推荐用3.4.14版本的
  • myid文件里面不能有空行

Hadoop配置文件

这里的主机名和hadoop文件路径可能有些人的不一样，要改成自己的

  • hdfs-site.xml

<configuration>
 <property>
   <name>dfs.replication</name>
   <value>3</value>
 </property>
 <property>
   <name>dfs.nameservices</name>
   <value>mycluster</value>
 </property>
 <property>
   <name>dfs.ha.namenodes.mycluster</name>
   <value>nn1,nn2</value>
 </property>
 <property>
   <name>dfs.namenode.rpc-address.mycluster.nn1</name>
   <value>HAMaster001:9000</value>
 </property>
 <property>
   <name>dfs.namenode.rpc-address.mycluster.nn2</name>
   <value>HAMaster002:9000</value>
 </property>
 <property>
   <name>dfs.namenode.http-address.mycluster.nn1</name>
   <value>HAMaster001:50070</value>
 </property>
 <property>
   <name>dfs.namenode.http-address.mycluster.nn2</name>
   <value>HAMaster002:50070</value>
 </property>
 <property>
   <name>dfs.namenode.shared.edits.dir</name>
   <value>qjournal://HASlave001:8485;HASlave002:8485;HASlave003:8485/QJCluster</value>
 </property>
 <property>
   <name>dfs.journalnode.edits.dir</name>
   <value>/home/hadoop/software/hadoop-2.9.2/QJEditsData</value>
 </property>
 <property>
   <name>dfs.ha.automatic-failover.enabled</name>
   <value>true</value>
 </property>
 <property>
   <name>dfs.client.failover.proxy.provider.mycluster</name>
   <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
 </property>
 <property>
   <name>dfs.ha.fencing.methods</name>
   <value>
       sshfence
       shell(/home/hadoop/software/hadoop-2.9.2/ensure.sh)
   </value>
 </property>
 <property>
   <name>dfs.ha.fencing.ssh.private-key-files</name>
   <value>/home/hadoop/.ssh/id_rsa</value>
 </property>
 <property>
   <name>dfs.ha.fencing.ssh.connect-timeout</name>
   <value>30000</value>
 </property>
</configuration>
  • core-site.xml
<configuration>
<property>
        <name>ha.zookeeper.quorum</name>
        <value>HASlave001:2181,HASlave002:2181,HASlave003:2181</value>
</property>
<property>
        <name>hadoop.tmp.dir</name>
        <value>/home/hadoop/software/hadoop-2.9.2/tmp</value>
</property>
<property>
        <name>fs.defaultFS</name>
        <value>hdfs://mycluster</value>
</property>
<property>
        <name>ipc.client.connect.retry.interval</name>
        <value>10000</value>
</property>
<property>
        <name>ipc.client.connect.max.retries</name>
        <value>100</value>
</property>
</configuration>
  • yarn-site.xml
<configuration>

  <!-- Site specific YARN configuration properties -->
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
  <property>
    <name>yarn.resourcemanager.ha.enabled</name>
    <value>true</value>
  </property>
  <property>
    <name>yarn.resourcemanager.cluster-id</name>
    <value>RMHA</value>
  </property>
  <property>
    <name>yarn.resourcemanager.ha.rm-ids</name>
    <value>rm1,rm2</value>
  </property>
  <property>
    <name>yarn.resourcemanager.hostname.rm1</name>
    <value>HAMaster001</value>
  </property>
  <property>
    <name>yarn.resourcemanager.hostname.rm2</name>
    <value>HAMaster002</value>
  </property>
  <property>
    <name>yarn.resourcemanager.zk-address</name>
    <value>HASlave001:2181,HASlave002:2181,HASlave003:2181</value>
  </property>
</configuration>
  • hadoop-env.sh只需要改JAVA_HOME路径

启动顺序

  • 先启动三个slave，分别执行
    ~/software/zookeeper-3.4.14/bin/zkServer.sh start
  • 然后在任意一台Master执行
    start-dfs.sh
    start-yarn.sh

两台机器都是standby状态

在任意一台Master执行hdfs zkfc -formatZK，然后重新执行start-dfs.sh

配置成功效果

在这里插入图片描述

One More Thing

有些同学可能不习惯纯命令行的操作，也不习惯用vi或者vim来编辑文本，那就可以试试VSCode的Remote Development，可以直接用vscode来编辑文本，上传文件也可以直接拖进来。如图：
在这里插入图片描述

while0l1
关注
  • 3
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 6
    评论
专栏目录
hadoop2.7+centos7+hive+zookeeper分布式安装
03-01
linux上在centos系统中进行hadoop完全分布式集群安装，在hadoop安装完成后的基础之上安装元数据库Mariadb，配置完成后安装hive，zookeeper等。
Hadoop（二）之实验一CentOS7配置Hadoop系统：安装Zookeeper3.4.14
sandalphon4869的博客
11-04 601
文章目录二、安装程序5.Zookeeper3.4.14（1）配置文件并复制Zookeeper3.4.14（2）为每台服务器创建身份标识（3）在所有节点中启动 zookeeper（4）查看zookeeper 运行状态（5）测试 Zookeeper 是否启动成 CentOS7配置Hadoop系统（一） 二、安装程序 5.Zookeeper3.4.14 （1）配置文件并复制Zookeeper3.4....
3、Hadoop+HBase+Hive+Zookeeper版本兼容问题
lixiang987654321的专栏
03-30 4491
hadoop稳定版本选择 hadoop决定用比较稳定版本hadoop2.7.1 hadoop2.7.1中与hbase1.2.x兼容。 hbase1.x与hive2.x是兼容的，与hive1.x需要编译。因此这里决定 hbase使用1.x,hive使用2.x hbase稳定版本选择 hbase中目前版本有hbase0.98,1.1.4,1.2.1, 这里面稳定版是h...
安装hadoop集群和zookeeper
buerba的博客
06-28 298
1.2 centos环境配置 关闭防火墙 停止防火墙服务 systemctl stop firewalld 禁用防火墙，下次开机启动后防火墙服务不再启动 systemctl disable firewalld 生成秘钥： ssh-keygen -t rsa -P “” cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys 开启远程免密登录配置 [root@xiu1 ~]# ssh-copy-id -i .ssh/id_rsa.pub -p
hadoop集群基础上安装ZooKeeper和HBase
ASN_forever的博客
08-08 2875
之前的文章已经介绍了如何搭建hadoop集群，以及在hadoop集群之上搭建spark集群。可以点击如下链接查看： 一、centos7+hadoop2.8.0+VMware搭建完全分布式集群 二、hadoop完全分布式基础上搭建spark集群 本篇文章记录的是在上述hadoop集群上安装HBase和ZooKeeper的过程，以备后续参考！ 软件版本和系统环境 ①HBase，1.2.5，下...
hadoop + zookeeper 安装部署
tpl_01
05-15 708
1. 网络配置 1.1 查看当前机器名称      #hostname 1.2 修改当前机器名称 1.3 修改当前机器IP 1.4 配置hosts文件（必须）     192.168.3.111  hadoopserver01     192.168.3.112  hadoopserver02     192.168.3.113  hadoopserver03 1
从VMware中安装CentOS到Hadoop集群+ Hive+ MySQL搭建
08-11
适合新手，详细 01-Java环境安装 02- Eclipse下载与安装 03-VMware虚拟机的安装 04-在VMware中安装CentOS 05- Hadoop集群+ Hive+ MySQL搭建
集群环境搭建-Centos+kafka+zookeeper+hadoop+Spark
12-19
通过VirtualBox安装多台虚拟机，实现集群环境搭建。 优势：一台电脑即可。 应用场景：测试，学习。...内附百度网盘下载地址，有hadoop+zookeeper+spark+kafka等等·····需要的安装包和配置文件
基于zookeeper-3.5.5安装hadoop-3.1.2.pdf
11-09
截至本文撰写时（2019/9/17日），Hadoop最高版本为3.2.0，但适用于生产环境的为3.1.2（9月22日发布了可用于生产环境的3.2.1版本），本文只介绍3.1.2版本的分布式安装，不包含单机版安装。适用于Hadoop-3.1.3版本，所...
Hadoop学习之zookeeper（集群安装）
刘瑞东的专栏
03-13 1791
ZooKeeper是一个分布式开源框架，提供了协调分布式应用的基本服务，它向外部应用暴露一组通用服务——分布式同步（Distributed Synchronization）、命名服务（Naming Service）、集群维护（Group Maintenance）等，简化分布式应用协调及其管理的难度，提供高性能的分布式服务。ZooKeeper本身可以以Standalone模式安装运行，不过它的长
hdoopHA的文件配置和安装hadoop和安装zookeeper
bulaoty的博客
06-15 193
hadoop文件配置 1.cd /opt/你自己姓名首字母/hadoop-2.6.5/etc/hadoop/ vi hdfs-site.xml 将内的内容改为 dfs.nameservices mycluster dfs.ha.namenodes.mycluster nn1,nn2 dfs.namenode.rpc-address.mycluster.nn1 node01:8020 dfs.namenode.rpc-address.mycluster.nn2 node0
Hadoop-Zookeeper 详细介绍 详细安装步骤 与 使用
bwf317的博客
11-23 631
简介：Zookeeper是一个底层的分布式协调服务工具！它是hadoop生态体系中很多分布式系统（HDFS、YARN(HA高可用)、HBASE(ZK)、KAFKA.........）的基础组件 基本的功能： 为客户提供写数据功能 存储关键状态数据 数据量小 为客户提供读取据功能 为用户提供数据变化时的监控功能 1) 节点的子节点个数 2) 节点的数据变化 作用： HDFS YARN的mast是自己制定的(配置HA) namenode 分布式系统中的主节点选举！ 比如hba
基于hadoop2.6.5搭建5个节点的分布式集群—（六）安装Zookeeper
billyuncle的博客
06-16 1030
1.将本地下载好的zookeeper-3.4.10.tar.gz安装包，上传至hadoop001节点下的/home/hadoop/app目录下；2.解压3.删除zookeeper-3.4.10.tar.gz安装包4.重命名5. 修改Zookeeper中的配置文件   复制一个zoo.cfg文件    编辑zoo.cfg文件6、通过脚本deploy.sh将Zookeeper安装目录拷贝到其他节点上面...
Zookeeper（四）Hadoop HA高可用集群搭建
weixin_30455067的博客
04-20 141
一、高可就集群搭建 1、集群规划 2、集群服务器准备 （1） 修改主机名（2） 修改 IP 地址（3） 添加主机名和 IP 映射（4） 同步服务器时间（5） 关闭防火墙（6） 配置免密登录（7） 安装 JDK 3、集群安装 （1）安装zookeeper集群 （2）安装hadoop集群 转载于...
Zookeeper集群安装与实现Hadoop HA机制
喜欢磨洋工的小石同学的博客
04-13 446
安装前zookeeper前的准备工作 为了安装zookeeper集群与实现hadoop ha机制，准备工作如下 Hadoop集群的规模不小于3台，集群中的服务器个数为奇数。因为要进行ZooKeeper的选举，如果集群的节点数是偶数，选举就无法进行。我使用五台虚拟机进行模拟集群，分别命名为master，master0，slave1，slave2，slave3。具体如何安装虚拟机见文： https:...
记录下zookeeper在centOS 7下的坑
Zjg13835813856的博客
10-16 225
虽然感觉配置信息不多，但配置zookeeper集群的时候也踩过不少的坑，记录下心得，一面下次再犯 启动不正常的情况下，zkServer.sh start-foreground ./zoo1*.cfg 用这个查看调试 1：因为是3台虚拟机搭的集群， 一定要设置为固定IP，这也是做实验的必要步骤 2：不要漏了 data目录下的myid 要写上服务器ID echo '1...
zookeeper之分布式环境搭建
youyouxiong的博客
05-09 649
ZooKeeper的分布式环境搭建是一个涉及多个步骤的过程，主要包括准备工作、安装ZooKeeper、配置集群、启动服务以及验证集群状态。
Zookeeper笔记，MIT6.824
最新发布
qq_52010229的博客
05-12 991
一旦旧协调器意识到会话已经失效，它可以创建一个新的会话，但此时它知道自己不再是协调器。因此，虽然可能存在一小段时间内的竞争情况，但在会话超时后，ZooKeeper会自动防止旧的协调器修改状态，确保新的协调器能够顺利被选举。写请求被转发到一个称为 leader 的服务器，其余的ZooKeeper服务器，称为Follower，它们从leader接收消息（主要是状态），并商定状态更改。使用 ZooKeeper ，我们能够实现我们的应用程序所需要的所有协调原语，即使只有写入是可线性化的。
搭建centos7系统的Hadoop HA
04-22
搭建CentOS7系统的Hadoop HA集群需要以下步骤和注意事项： 1. 安装Java环境，并配置JAVA_HOME环境变量。 2. 下载Hadoop安装包，并解压到选定的目录下。 3. 编辑hadoop-env.sh文件，并设置Hadoop的安装目录和Java...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 6
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值