hadoop,zookeeper,kafka集群搭建（详细）

最新推荐文章于 2024-07-25 09:48:00 发布
置顶 最新推荐文章于 2024-07-25 09:48:00 发布
阅读量1k 收藏 8
点赞数 1
分类专栏： 集群搭建 文章标签： 大数据 hadoop zookeeper kafka
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hua_ge_zui_liang/article/details/106525443
版权

hadoop,zookeeper,kafka集群搭建


本文以3台机器进行集群搭建。

准备工作

配置好 每台机器的IP hostname hosts

ifcfg-ens33

# ifcfg-ens33
vi /etc/sysconfig/network-scripts/ifcfg-ens33
IPADDR=192.168.48.211
IPADDR=192.168.48.212
IPADDR=192.168.48.213

hostname

# hostname
hostnamectl set-hostname ???
c11
c12
c13

hosts

ps：这个必须每台机器都要写全！！！

# hosts
vi /etc/hosts
192.168.48.211 c11
192.168.48.212 c12
192.168.48.213 c13

在这里插入图片描述
拷贝需要安装的软件到c11中
[root@c11 ~]# cd /opt
[root@c11 opt]# mkdir install
[root@c11 opt]# mkdir bigdata
在这里插入图片描述

解压并改名

[root@c11 ~]# cd /opt/
[root@c11 opt]# ls
bigdata  install
[root@c11 opt]# cd install/
[root@c11 install]# ll
total 689288
-rw-r--r--. 1 root root 433895552 Jun  3 23:44 hadoop-2.6.0-cdh5.14.2.tar.gz
-rw-r--r--. 1 root root 181442359 Jun  3 23:44 jdk-8u111-linux-x64.tar.gz
-rw-r--r--. 1 root root  55751827 Jun  3 23:43 kafka_2.11-2.0.0.tgz
-rw-r--r--. 1 root root  34731946 Jun  3 23:43 zookeeper-3.4.5-cdh5.14.2.tar.gz
[root@c11 install]# tar -zxf hadoop-2.6.0-cdh5.14.2.tar.gz -C ../bigdata/
[root@c11 install]# tar -zxf jdk-8u111-linux-x64.tar.gz -C ../bigdata/
[root@c11 install]# tar -zxf kafka_2.11-2.0.0.tgz -C ../bigdata/
[root@c11 install]# tar -zxf zookeeper-3.4.5-cdh5.14.2.tar.gz -C ../bigdata/
[root@c11 install]# cd ../bigdata/
[root@c11 bigdata]# ls
hadoop-2.6.0-cdh5.14.2  kafka_2.11-2.0.0
jdk1.8.0_111            zookeeper-3.4.5-cdh5.14.2
[root@c11 bigdata]# mv jdk1.8.0_111/ jdk180
[root@c11 bigdata]# mv hadoop-2.6.0-cdh5.14.2/ hadoop260
[root@c11 bigdata]# mv zookeeper-3.4.5-cdh5.14.2/ zk345
[root@c11 bigdata]# mv kafka_2.11-2.0.0/ kafka211
[root@c11 bigdata]# ls
hadoop260  jdk180  kafka211  zk345

配置集群(jdk)环境及密钥

配置jdk环境

[root@c11 bigdata]# cd /etc/profile.d/
[root@c11 profile.d]# touch env.sh
[root@c11 profile.d]# vi ./env.sh 
# 在env.sh 文件中配置java jdk 环境
export JAVA_HOME=/opt/bigdata/jdk180
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin
# 记得 source 一下
[root@c11 profile.d]# source ./env.sh

配置密钥

密钥在c11(211) c12(212)

[root@c11 profile.d]# ssh-keygen -t rsa
## 然后进行两次回车就行，就生成了，效果图如下图。
## 接下来就是将密钥拷贝到每台机器上
[root@c11 profile.d]# ssh-copy-id c11
[root@c11 profile.d]# ssh-copy-id c12
[root@c11 profile.d]# ssh-copy-id c13

[root@c12 profile.d]# ssh-keygen -t rsa
[root@c12 profile.d]# ssh-copy-id c11
[root@c12 profile.d]# ssh-copy-id c12
[root@c12 profile.d]# ssh-copy-id c13

在这里插入图片描述

hadoop配置

需要配置如下文件：
hadoop-env.sh
mapred-env.sh
yarn-env.sh
slaves
core-site.xml
hdfs-site.xml
mapred-site.xml
yarn-site.xml

[root@c11 hadoop260]# mkdir hadoop2
[root@c11 hadoop260]# cd ./etc/hadoop

hadoop-env.sh

[root@c11 hadoop]# vi hadoop-env.sh 

export JAVA_HOME=/opt/bigdata/jdk180

mapred-env.sh

[root@c11 hadoop]# vi mapred-env.sh 

export JAVA_HOME=/opt/bigdata/jdk180

yarn-env.sh

[root@c11 hadoop]# vi yarn-env.sh 

export JAVA_HOME=/opt/bigdata/jdk180

slaves

[root@c11 hadoop]# vi ./slaves 

c11
c12
c13

core-site.xml

[root@c11 hadoop]# vi core-site.xml 

<configuration>
<property>
  <name>fs.defaultFS</name>
  <value>hdfs://c11:9000</value>
</property>
<property>
   <name>hadoop.tmp.dir</name>
   <value>/opt/bigdata/hadoop260/hadoop2</value>
</property>
<property>
   <name>hadoop.proxyuser.root.hosts</name>
   <value>*</value>
 </property>
<property>
   <name>hadoop.proxyuser.root.groups</name>
   <value>*</value>
 </property>
</configuration>

hdfs-site.xml

[root@c11 hadoop]# vi hdfs-site.xml 

<property>
  <name>dfs.replication</name>
  <value>3</value>
</property>
<property>
  <name>dfs.namenode.secondary.http-address</name>
  <value>c13:50090</value>
</property>

mapred-site.xml

[root@c11 hadoop]# cp mapred-site.xml.template mapred-site.xml
[root@c11 hadoop]# vi mapred-site.xml

<configuration>
<property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
</property>
<property>
        <name>mapreduce.jobhistory.address</name>
        <value>c11:10020</value>
</property>
<property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>c11:19888</value>
</property>
</configuration>

yarn-site.xml

[root@c11 hadoop]# vi yarn-site.xml

<!-- reducer获取数据方式 -->
<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>
<property>
    <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
    <value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<!-- 指定YARN的ResourceManager的地址 -->
<property>
    <name>yarn.resourcemanager.hostname</name>
    <value>c11</value>
</property>
<!-- 日志聚集功能使用 -->
<property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
</property>
<!-- 日志保留时间设置7天 -->
<property>
    <name>yarn.log-aggregation.retain-seconds</name>
    <value>604800</value>
</property>

hadoop 环境变量配置

[root@c11 hadoop]# vi /etc/profile.d/env.sh 

export HADOOP_HOME=/opt/bigdata/hadoop260
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin

[root@c11 hadoop]# source /etc/profile.d/env.sh

格式化hdfs

[root@c11 hadoop]# hadoop namenode -format

效果图：
在这里插入图片描述

zookeeper 配置

文件配置

# 创建zkData文件夹
[root@c11 zk345]# mkdir zkData
[root@c11 zk345]# cd zkData/
[root@c11 zkData]# ll
total 0
# 在zkData中创建myid文件，给定数字
[root@c11 zkData]# touch myid
[root@c11 zkData]# vi myid 
1

在这里插入图片描述

[root@c11 zkData]# cd ../conf/
[root@c11 conf]# ls
configuration.xsl  log4j.properties  zoo_sample.cfg
[root@c11 conf]# cp zoo_sample.cfg zoo.cfg
[root@c11 conf]# vi ./zoo.cfg 
dataDir=/opt/bigdata/zk345/zkData
server.1=c11:2287:3387
server.2=c12:2287:3387
server.3=c13:2287:3387

zookeeper 环境变量配置

[root@c11 conf]# vi /etc/profile.d/env.sh 

export ZOOKEEPER_HOME=/opt/bigdata/zk345
export PATH=$PATH:$ZOOKEEPER_HOME/bin

[root@c11 conf]# source /etc/profile.d/env.sh

Kafka配置

server.properties配置

[root@c11 conf]# cd /opt/bigdata/kafka211/config/
[root@c11 config]# ls
connect-console-sink.properties    consumer.properties
connect-console-source.properties  log4j.properties
connect-distributed.properties     producer.properties
connect-file-sink.properties       server.properties
connect-file-source.properties     tools-log4j.properties
connect-log4j.properties           trogdor.conf
connect-standalone.properties      zookeeper.properties

[root@c11 config]# vi server.properties 
broker.id=0      # 每台机器的的id不能相同
log.dirs=/opt/bigdata/kafka211/logs
zookeeper.connect=c11:2181,c12:2181,c13:2181
delete.topic.enable=true

[root@c11 kafka211]# mkdir logs
[root@c11 kafka211]# ls
bin  config  libs  LICENSE  logs  NOTICE  site-docs

如果单配kafka也可以参考kafka配置，因为此处是集群，所以需要改动一点
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

kafka环境变量配置

[root@c11 hadoop]# vi /etc/profile.d/env.sh

export KAFKA_HOME=/opt/bigdata/kafka211
export PATH=$PATH:$KAFKA_HOME/bin

记得source一下

[root@c11 hadoop]# source /etc/profile.d/env.sh

脚本文件

[root@c11 kafka211]# cd
[root@c11 ~]# pwd
/root
[root@c11 ~]# mkdir bin
[root@c11 ~]# cd ./bin/
[root@c11 bin]# ls
kfkop.sh  showjps.sh  xrsync  zkop.sh

在这里插入图片描述
可以点击此处去下载bin文件夹（也可以在本文最后面有脚本文件内容）
在这里插入图片描述

[root@c11 bin]# chmod 777 showjps.sh 
[root@c11 bin]# chmod 777 kfkop.sh 
[root@c11 bin]# chmod 777 xrsync 
[root@c11 bin]# chmod 777 zkop.sh 

[root@c11 bin]# yum install rsync -y
[root@c12 ~]# yum install rsync -y
[root@c13 ~]# yum install rsync -y

[root@c11 bin]# xrsync /opt/bigdata/jdk180/
[root@c11 bin]# xrsync /opt/bigdata/hadoop260/
[root@c11 bin]# xrsync /opt/bigdata/zk345/
[root@c11 bin]# xrsync /opt/bigdata/kafka211/

修改另外2台电脑配置文件

修改zookeeper的myid文件

[root@c12 zk345]# cd ./zkData/
[root@c12 zkData]# ld
ld: no input files
[root@c12 zkData]# ls
myid
[root@c12 zkData]# vi myid 
2

[root@c13 zkData]# vi myid 
3

修改kafka的broker.id的值

21 broker.id=1

21 broker.id=2

在这里插入图片描述
在这里插入图片描述

脚本文件内容

ps:要是没找到bin下载文件夹，下面为内容：
在这里插入图片描述

[root@c11 bin]# vi xrsync 
#!/bin/bash

#1 获取输入参数个数，如果参数个数没有，退出
pcount=$#
if((pcount==0));then
echo no agrs;
exit;
fi

#2 获取文件名
p1=$1
fname=`basename $p1`
echo fname=$fname

#3 获取上级目录的绝对路径
pdir=`cd -P $(dirname $p1);pwd`
echo pdir=$pdir

#4 获取当前用户名字
user=`whoami`

#5 将文件拷贝到目标机器
for host in c11 c12 c13
do
	echo ---------- $host --------------
	rsync -av $pdir/$fname $user@$host:$pdir
done

[root@c11 bin]# vi showjps.sh 
#!/bin/bash

for host in c11 c12 c13
do
	echo --------- $host ----------
	ssh $host "$*"
done

[root@c11 bin]# vi zkop.sh 
#!/bin/bash
# start stop status

case $1 in 
"start"){
	for i in c11 c12 c13
	do
		ssh $i "/opt/bigdata/zk345/bin/zkServer.sh start"
	done
};;
"stop"){
	for i in c11 c12 c13
        do
                ssh $i "/opt/bigdata/zk345/bin/zkServer.sh stop"
        done
};;
"status"){
	for i in c11 c12 c13
        do
                ssh $i "/opt/bigdata/zk345/bin/zkServer.sh status"
        done
};;
esac

[root@c11 bin]# vi kfkop.sh 
#!/bin/bash

case $1 in
"start"){
	for i in c11 c12 c13
	do
		echo ------$i 启动KAFKA---------
		ssh $i "/opt/bigdata/kafka211/bin/kafka-server-start.sh -daemon /opt/bigdata/kafka211/config/server.properties"
	done
};;
"stop"){
        for i in c11 c12 c13
        do
                echo ------$i 关闭KAFKA---------
                ssh $i "/opt/bigdata/kafka211/bin/kafka-server-stop.sh"
        done
};;
esac

ps：此三种集群搭建完成~
ps：望多多支持，后续更新中…

这条gai最靓的华哥
关注
  • 1
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
hadoop+zookeeper+kafka集群搭建
Qinsurpass的博客
06-03 784
hadoop+zookeeper+kafka集群搭建创建四台虚拟机分别在四台虚拟机中编辑ip地址重启网络并ping通www.baidu.com、关闭防火墙四台虚拟机分别修改hostname编辑/etc/hosts创建文件夹，并导入安装包密钥pass1(234),pass2(134),pass3(124)集群环境编辑脚本，在root目录下创建bin文件夹jdk安装hadoop配置 创建四台虚拟机 192.168.199.161 pass1 192.168.199.162 pass2 192.168.199.1
docker搭建zookeeper和kafka 集群
hfthxfhjy的博客
11-03 1306
docker-compose 部署kafka 集群，配置文件记录
Hadoop集群高可用及zookeeper+kafka组件搭建
kali_yao的博客
03-13 3955
一.Hadoop集群高可用 角色与配置 主机名 IP地址 角色服务 hadoop1 192.168.1.50 namenode, resourcemanager, ZKFC hadoop2 192.168.1.56 namenode, resourcemanager, ZKFC node-0001 192.168.1.51 datanode, nodemanager, zookeeper, journalnode node-0002
Kafka + Zookeeper + Hadoop 集群配置
Trollz的博客
08-23 1124
Kafka + zookeeper + Hadoop cluster configuration
zookeeper + kafka集群搭建详解
隐藏角落的光
09-16 1179
2.1 Kafka定义Kafka 是一个分布式的基于发布/订阅模式的消息队列（MQ，Message Queue），主要应用于大数据实时处理领域。2.2 Kafka简介。
kafka集群搭建超详细教程
热门推荐
笑看风云路的博客
05-23 2万+
由于Kafka具备诸多优点，在大数据开发领域已经占据不可或缺的地位，我们在工作中就会不可避免与之打交道，那么搭建Kafka集群就非常有必要了！
flink hadoop zookeeper hbase kafka集群的搭建与部署
06-18 481
本教程基于4台机器(预装有CentOS7 Linux系统)完成Hadoop集群及其相关组件的搭建，1个master，3个slave。 1 Linux环境准备 1.1 基础设置 修改主机名 hostnamectl set-hostname master reboot 1 2 依次将其他3台机器设置为slave1,slave2,slave3。 修改IP地址 vim /etc/sysconfig/network-scripts/ifcfg-ens33 TYPE="Ethernet" PROXY_METHO.
详解hadoop+zookeeper+kafka集群搭建
单的格子
11-18 148
hadoop+zookeeper+kafka集群搭建 http://note.youdao.com/s/GtU1edbP
hadoop04--Kafka集群环境搭建
码到成龚的博客
09-08 1029
Kafka集群的搭建请保证是已经搭建好了zookeeper集群。
zookeeper linux集群搭建流程
08-16
Linux 集群搭建是 ZooKeeper 的一种常见应用场景，本文将详细介绍 ZooKeeper Linux 集群搭建流程。 准备前提 在开始搭建 ZooKeeper 集群之前，需要提前在本地安装好 JDK，因为 ZooKeeper 是用 Java 编写的，需要...
kafka集群搭建文档
05-31
本篇文档将详细介绍如何在Linux环境中搭建Kafka集群，同时结合Hadoop和Spark的分布式安装，构建一个完整的数据处理平台。 首先，搭建Kafka集群的基础条件包括： 1. 至少一台Linux服务器，但为了高可用性，推荐多台...
搭建kafka集群详细教程
03-23
本教程将详细介绍如何搭建一个Kafka集群。 首先，我们需要理解Kafka集群的基础构成。一个Kafka集群通常包括多个服务器，称为Brokers，它们负责存储和传输消息。每个Broker都有自己的分区（Partitions），这些分区是...
spark+hadoop+kafka+zookeeper 大数据平台搭建脚本
07-04
spark+hadoop+zookeeper 大数据平台搭建脚本，亲测通过，适用于大数据初学者在虚拟机玩
kafka + zookeeper 集群jar包
02-11
这里我们讨论的是Kafka 2.2.1版本与Zookeeper 3.4.14版本的集群配置。 Kafka是一个高吞吐量、分布式的发布订阅消息系统，由LinkedIn开发并贡献给了Apache基金会。它设计的目标是能够处理大量的实时数据，提供低延迟...
分布式系统常见软件架构模式
最新发布
Ben的专栏
07-25 948
简而言之，有效管理数据和通信流对于构建健壮且可扩展的分布式系统至关重要。对等、API 网关、发布-订阅、请求-响应、事件溯源、ETL、批处理、流处理和编排等架构模式提供了有价值的解决方案，以应对系统设计和实现中的各种挑战。通过理解这些软件架构和分布式系统模式及其各自的优势和权衡，架构师和开发人员可以做出明智的决策，设计出满足其应用程序和用户不断变化的需求的系统。
SpringBoot整合Elastic-Job 2.1.53版本任务调度，手动任务，动态添加任务演示
小哇
07-23 375
zookeeper安装并成功运行。
数据分析师学习路线与就业环境分析报告
关注收藏，可以私信解决问题！
07-23 952
数据分析师负责收集、处理和分析数据，以帮助企业做出基于数据的决策。他们使用统计方法、数据建模和数据可视化技术来解释复杂的数据集。
江苏科技大学24计算机考研数据速览，有专硕复试线大幅下降67分！
m0_72717598的博客
07-23 476
江苏科技大学（Jiangsu University of Science and Technology），坐落在江苏省镇江市，是江苏省重点建设高校，江苏省人民政府与中国船舶集团有限公司共建高校，国家国防科技工业局与江苏省人民政府共建高校 ，教育部卓越工程师教育培养计划高校，教育部本科教学工作水平评估优秀学校，江苏省高水平大学建设高峰计划B类建设高校，中国船舶与海洋工程产业知识产权联盟、江苏船舶与海洋类高校协同发展联盟牵头单位。其中，研究生新生学业奖学金特等奖3万，一等奖1.2万，二等奖0.8万；
zookeeper kafka hadoop hbase spark flink集群
05-14
zookeeper、kafka、hadoop、hbase、spark和flink都是大数据技术领域中重要的工具或框架，它们经常一起使用组成一个完整的大数据生态系统。 zookeeper是一个分布式的协调服务，可以提供集群管理、屏蔽分布式环境下的一些细节操作等功能，通常用于hadoop、kafka等分布式系统的协调与管理。 kafka是一个高吞吐量、低延迟的分布式消息队列系统，可以对海量数据进行高效的读写处理，广泛用于日志的处理、实时数据采集等场景。 hadoop是一个开源的分布式计算框架，可以在集群环境下实现海量数据的存储和计算，适用于批量数据处理。 hbase是一个基于hadoop的分布式非关系型数据库，适合处理半结构化和结构化的海量数据。 spark是一种快速、通用的分布式计算引擎，可以对数据集进行高效的处理和分析，并且支持多种计算模型，如批处理、流处理和机器学习等。 flink是一个分布式流计算框架，可以处理海量实时事件流，并且支持事件时间处理和状态管理等重要功能。 集群中的这些技术和工具可以供海量数据存储和处理，用户可以根据实际的需求与数据场景选择合适的工具和组合方式，建立起一个高效且实用的大数据处理系统。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值