集群搭建全过程

最新推荐文章于 2022-09-11 17:20:37 发布
最新推荐文章于 2022-09-11 17:20:37 发布
阅读量191 收藏
点赞数
分类专栏： Linux hbase 文章标签： hadoop spark 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jia_7m/article/details/97006781
版权

文章目录

1.集群环境

CentOS:7
JDK:1.8
Hadoop:3.0.0
Spark:2.4.0
HBase:

集群包括三个节点
主机名  IP
node01 192.168.4.211
node02 192.168.4.212
node03 192.168.4.213

修改hosts

vim /etc/hosts
192.168.4.211 node01
192.168.4.212 node02
192.168.4.213 node03

集群免密登录

https://blog.csdn.net/jia_7m/article/details/88240369

配置JDK

# 下载 jdk-8u171-linux-x64.tar.gz 并解压
cd /user
tar -zxvf ./tgz/jdk-8u171-linux-x64.tar.gz

# 配置环境变量
vim /etc/profile 

JAVA_HOME=/user/java8
PATH=$PATH:$JAVA_HOME/bin

source /etc/profile
# 测试配置是否成功
java -version

下载Hadoop、HBase、Zookeeper安装包

  1)、下载Hadoop 2.5.2
     https://dist.apache.org/repos/dist/release/hadoop/common/
  2）、下载hbase1.0.3
     http://mirrors.hust.edu.cn/apache/hbase/
  3）、下载Zookeeper 3.4.6
     http://mirrors.hust.edu.cn/apache/zookeeper/
 并把下载好的安装包上传到Linux的/user/tgz

1.1 Zookeeper集群配置

cd /user
# 解压
tar -zxvf ./tgz/zookeeper-3.4.13.tar.gz
cd ./zookeeper-3.4.13/conf

1) vim zoo.cfg

dataDir=/tmp/zookeeper

server.1=node01:2888:3888
server.2=node02:2888:3888
server.3=node03:2888:3888

2) 将配置好的zookeeper拷贝到其他节点
scp -r /user/zookeeper-3.4.13/ root@192.168.4.212

1.2 Hadoop安装

cd /user
# 解压
tar -zxvf ./tgz/hadoop-3.0.0.tar.gz

1) vim /etc/profile

export HADOOP_HOME=/user/hadoop-3.0.0
PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

# 重启 /etc/profile
source /etc/profile

2) 配置hadoop-env.sh java环境
cd ./hadoop-3.0.0/etc/hadoop/
vim hadoop-env.sh

export JAVA_HOME=/user/java8

3) 配置core-site.xml文件
vim core-site.xml

<configuration>
        <property>
                 <name>hadoop.tmp.dir</name>
                 <value>/user/hadoop-3.0.0/tmp</value>
                 <description>Abase for other temporary directories.</description>
         </property>
         <property>
                 <name>fs.default.name</name>
                 <value>hdfs://node01:9000</value>
         </property>
</configuration>

4) 配置mapred-site.xml文件
vim mapred-site.xml

<configuration>

 <property>
        <name>mapred.job.tracker</name>
        <value>node01:49001</value>
 </property>
 <property>
        <name>mapred.local.dir</name>
        <value>/user/hadoop-3.0.0/var</value>
 </property>
 <property>
       <name>mapreduce.framework.name</name>
       <value>yarn</value>
 </property>

</configuration>

5) 配置hdfs-site.xml文件
vim hdfs-site.xml

<configuration>
<property>
        <name>dfs.name.dir</name>
        <value>/user/hadoop-3.0.0/dfs/name</value>
        <description>Path on the local filesystem where theNameNode stores the namespace and transactions logs persistently.</description>
</property>
<property>
        <name>dfs.data.dir</name>
        <value>/user/hadoop-3.0.0/dfs/data</value>
        <description>Comma separated list of paths on the localfilesystem of a DataNode where it should store its blocks.</description>
</property>
<property>
        <name>dfs.replication</name>
        <value>3</value>
</property>
<property>
        <name>dfs.permissions</name>
        <value>false</value>
        <description>need not permissions</description>
</property>
</configuration>

6) 配置yarn-site.xml
vim yarn-site.xml

<property>
        <!-- 这里设置主节点 -->
        <name>yarn.resourcemanager.hostname</name>
        <value>node01</value>
</property>
<property>
        <description>The address of the applications manager interface in the RM.</description>
        <name>yarn.resourcemanager.address</name>
        <value>${yarn.resourcemanager.hostname}:8032</value>
</property>
<property>
        <description>The address of the scheduler interface.</description>
        <name>yarn.resourcemanager.scheduler.address</name>
        <value>${yarn.resourcemanager.hostname}:8030</value>
</property>
        <value>${yarn.resourcemanager.hostname}:8088</value>
</property>
<property>
        <description>The https adddress of the RM web application.</description>
        <name>yarn.resourcemanager.webapp.https.address</name>
        <value>${yarn.resourcemanager.hostname}:8090</value>
</property>
<property>
        <name>yarn.resourcemanager.resource-tracker.address</name>
        <value>${yarn.resourcemanager.hostname}:8031</value>
</property>
<property>
        <description>The address of the RM admin interface.</description>
        <name>yarn.resourcemanager.admin.address</name>
        <value>${yarn.resourcemanager.hostname}:8033</value>
</property>
<property>
        <name>yarn.nodemanager.aux-services</name>
        <name>yarn.resourcemanager.webapp.address</name>
        <value>${yarn.resourcemanager.hostname}:8088</value>
</property>
<property>
        <description>The https adddress of the RM web application.</description>
        <name>yarn.resourcemanager.webapp.https.address</name>
        <value>${yarn.resourcemanager.hostname}:8090</value>
</property>
<property>
        <name>yarn.resourcemanager.resource-tracker.address</name>
        <value>${yarn.resourcemanager.hostname}:8031</value>
</property>
<property>
        <description>The address of the RM admin interface.</description>
        <name>yarn.resourcemanager.admin.address</name>
        <value>${yarn.resourcemanager.hostname}:8033</value>
</property>
<property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
</property>

然后拷贝到其他节点

1.3 HBase集群配置

cd /user
# 解压
tar -zxvf ./tgz/hbase-2.1.0-bin.tar.gz

1) vim /etc/profile

export HBASE_HOME=/user/hbase-2.1.0
export PATH=$PATH:$HBASE_HOME/bin

# 重启 /etc/profile
source /etc/profile

2) 配置hbase-env.sh
cd /user/hbase-2.1.0/conf/
vim hbase-env.sh

export JAVA_HOME=/user/java8
export HBASE_MANAGES_ZK=false
# HBASE_MANAGES_ZK=false 表示启动的是独立的zookeeper,而配置成true则是hbase自带的zookeeper

2) 配置hbase-site.xml
vim hbase-site.xml

<configuration>
        <property>
                <name>hbase.rootdir</name>
                <value>hdfs://node01:9000/hbase</value>
        </property>
        <property>
                 <name>hbase.cluster.distributed</name>
                 <value>true</value>
        </property>
        <property>
                <name>hbase.master</name>
                <value>hdfs:node01:60000</value>
        </property>
        <property>
                <name>hbase.zookeeper.quorum</name>
                <value>node01,node02,node03</value>
        </property>
        <property>
                <name>hbase.zookeeper.property.clientPort</name>
                <value>2181</value>
        </property>
        <property>
                <name>hbase.zookeeper.property.dataDir</name>
                <value>/tmp/zookeeper/hbase</value>
        </property>
</configuration>

说明：
    hbase.cluster.distributed指定了Hbase的运行模式。false是单机模式，true是分布式模式。
    hbase.zookeeper.quorum是Zookeeper集群的地址列表，用逗号分割。

3) 配置regionservers

node01
node02
node03

同样将HBase拷贝到其他节点

1.4 启动集群

1、启动Zookeeper集群 (每台节点都执行)
cd /user/zookeeper-3.4.13
./bin/zkServer.sh start
2、 查看Zookeeper状态 (leader、follower)
./bin/zkServer.sh status

1、启动Hadoop集群(Master节点)
hadoop namenode -format # 第一次启动，格式namenode
./sbin/start-all.sh

启动HBase集群(Master节点)
./bin/start-hbase.sh

jps查看进程

24241 ThriftServer
3362 ResourceManager
6082 QuorumPeerMain
18098 HMaster
9970 Master
15460 RunJar
3958 Jps
2839 NameNode
3111 SecondaryNameNode
10057 Worker
18267 HRegionServer

1.5 Spark安装

# 解压
cd /user
tar ./tgz/spark-2.4.0-bin-hadoop2.7.tgz

1) 配置环境变量
vim /etc/profile
# 添加
export SPARK_HOME=/user/spark-2.4.0
export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin

2) 配置shark-env.sh
cd ./spark-2.4.0
cp conf/spark-env.sh.template conf/spark-env.sh  #copy

vim conf/spark-env.sh

export JAVA_HOME=/user/java8
export HADOOP_HOME=/user/hadoop-3.0.0
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop

export SPARK_MASTER_IP=192.168.4.211 
export SPARK_WORKER_MEMORY=1g   # 每个worker节点能够最大分配给exectors的内存大小
export SPARK_WORKER_CORES=1  # 每个worker节点所占有的CPU核数目
export SPARK_WORKER_INSTANCES=1  # 每台机器上开启的worker节点的数目

3) 配置slaves
vim conf/slaves

node01
node02
node03

4) 将spark-2.4.0拷贝到其他节点

5) 启动集群
./sbin/star-all.sh

1.6 Kafka安装

# 解压
cd /user
tar ./tgz/kafka_2.12-2.1.0.tgz

1) 配置server.properties
cd kafka_2.12-2.1.0
vim config/server.properties

broker.id=2 这个ID 要求每台节点都不相同 且必须是自然数
host.name=192.168.4.211 这个的值是节点IP
listeners = PLAINTEXT://192.168.4.211:9092  后面是IP + port 每个节点都不相同
zookeeper.connect=192.168.4.211:2181 填写自己的zookeeper通信地址, 如有多个 用逗号隔开

2) 修改zookeeper 的配置文件
a. #cd zookeeper/conf
b. #cp zoo_sample.cfg zoo.cfg
c. #设置


3) 将kafka复制给其他的 节点
并且修改其中的 broker.id

4) 启动 
#zookeeper/bin/zkServer.sh start
#kafka/bin/kafka-server-start.sh -daemon config/server.properties
5) 验证 
#jps 
如果每台节点都有kafka 进程表示成功启动集群

2. 错误

2.1 大数据之Zookeeper启动错误

启动Zookeeper

# cd /user/zookeeper-3.4.13
# ./bin/zkServer.sh start
ZooKeeper JMX enabled by default
Using config: /user/zookeeper-3.4.13/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED

查看状态
# ./bin/zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /user/zookeeper-3.4.13/bin/../conf/zoo.cfg
Error contacting service. It is probably not running.

检查配置文件 conf/zoo.cfg


tickTime=2000
initLimit=10
syncLimit=5
dataDir=/tmp/zookeeper
# the port at which the clients will connect
clientPort=2181

server.1=node01:2888:3888
server.2=node02:2888:3888
server.3=node03:2888:3888

检查/tmp/zookeeper/myid

 No such file or directory 缺少myid文件

 # touch /tmp/zookeeper/myid
 # echo 1 > /tmp/zookeeper/myid

重新启动

smile@qi
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Oracle11g+ASM RAC数据库集群搭建全过程
01-18
完整的Oracle11g+ASM RAC的搭建过程，包括截图，步骤清晰明了，欢迎提意见
尚硅谷hadoop3.x集群配置笔记及常见错误解决方式
m0_51404279的博客
10-24 4321
1.搭建集群准备工作 总体流程 准备3台客户机（关闭防火墙、静态IP、主机名称） 安装JDK 配置环境变量 安装Hadoop 配置环境变量 配置集群 单点启动 配置ssh 群起并测试集群 一、模板虚拟机的搭建 配置要求：IP地址192.168.10.100**、主机名称hadoop100、内存4G、**硬盘50G（内存硬盘大小根据电脑配置自行更改） 关于是否安装桌面：未安装桌面的版本需要要执行以下命令,用于配置工具包集合，包含ifconfig等命令以及软件...
nginx详解
9.冄2.7.號的博客
09-22 1015
nginx简介 nginx概述 Nginx (“engine x”) 是一个高性能的 HTTP 和反向代理服务器,特点是占有内存少，并发能力强，事实上 nginx 的并发能力确实在同类型的网页服务器中表现较好，中国大陆使用 nginx网站用户有：百度、京东、新浪、网易、腾讯、淘宝等。 nginx作为web服务器 Nginx 可以作为静态页面的 web 服务器，同时还支持 CGI 协议的动态语言，比...
集群搭建(Redis）（超详细）
CharmingC1的博客
09-11 3470
(超详细）集群搭建（Redis）
如何建立集群？
yw_2022的博客
02-02 3197
如何建立集群？
保姆级教学——集群环境搭建及创建集群
weixin_42402597的博客
07-17 3468
集群环境搭建及集群配置
Redis集群搭建全记录
09-09
本文给大家总结了redis集群的概念等基础知识，以及个人在搭建redis集群是所遇到的问题及解决方法，非常的详细，有需要的小伙伴可以参考下
Hadoop2.2.0安装配置手册！完全分布式Hadoop集群搭建过程
11-18
Hadoop2.2.0安装配置手册！完全分布式Hadoop集群搭建过程 按照文档中的操作步骤，一步步操作就可以完全实现hadoop2.2.0版本的完全分布式集群搭建过程
hadoop完全分布式集群搭建
09-12
史上最详细的hadoop完全分布式集群搭建，适合初学大数据的新手。由于涉及到linux的安装什么的，需要另外linux系统安装详解资源的可以联系我，免费给q：1487954071
hadoop虚拟机集群搭建全教程
11-07
本人只是简单的写了一下从 VM 到hbase整个集群的安装过程，不解释其中的原理。整个过程亲自实践,Pass 若果有问题可以反馈到我的邮箱或者QQ 大家集体研究哈 我也只是hadoop的初学者 只是看到很多书上的安装步骤总会...
Hadoop集群搭建超详细说明
nick_huangzheng的博客
09-07 4637
最近随着公司业务的发展，在一波重构中技术层面主要的目标是双中台建设，由是就有了本文。 #数据中台 ##1、环境准备 ###1.1、前置条件 ####Linuxwget #####rpm安装 下载wget的RPM包： http://mirrors.163.com/centos/6.8/os/x86_64/Packages/wget-1.12-8.el6.x86_64.rpm 执行rpm-ivhwget-1.12-8.el6.x86_64.rpm...
如何创建服务器集群
weixin_34090562的博客
04-10 1680
一个集群 （cluster）指容器运行所需要的云资源组合，关联了若干云服务器节点、负载均衡等云资源。通过多种方式创建一个集群： 方法一：创建一个集群，并同时创建若干个云服务器。您可以通过容器服务直接创建一个包含若干个新云服务器的集群。详细信息参见：创建集群 方法二：创建一个零节点的集群并添加已有的云服务器。创建一个零节点的集群。如果您已经在云服务器 EC...
Hadoop集群搭建（超级超级详细）
热门推荐
皮埃尔的博客
04-28 3万+
Hadoop集群搭建（超级超级详细）
redis集群配置
weixin_44702748的博客
09-14 436
redis集群实现 redis集群 为什么要搭建集群 提高网站的是响应速度，把热点数据保存在内存中，而不是直接从数据库中获取。 redis 是一个很好Cache工具，大型网站应用，数据都是在几十G以上。 由于内存大小的限制，使用一台redis实例显然无法满足需求，这时就需要使用多台Redis 作为缓存数据库。但是如何保证数据库的存储的一致性，这就是需要搭建redis集群，采用合理机制。 采用redis集群，可以保证数据分散存储，同时保证数据存储的一致性，并且在内部实现高可用的机制，实现服务故障迁移。 集群
搭建全分布式集群全过程
m0_51327764的博客
11-07 2351
全分布式全步骤 三台机器，分别为hdp01,hdp02,hdp03 思路是先配置hdp01,再克隆hdp02,hdp03 一.搭建hdp01 1.关闭防火墙（一般会有延迟，即使关闭了防火墙以后查看状态也还是开的，重启可以在看状态是可以的） systemctl disable firewalld 检查状态 systemctl status firewalld reboot -h now----重启电脑 2.改ip vi /etc/sysconfig/network-scripts/ifcfg-ens33
Linux 集群搭建
希夷的博客
03-18 1万+
apache集群的搭建   一.克隆、设置IP、主机名、网卡，重启后尝试联网(不多说了) 1.vi /etc/sysconfig/network-scripts/ifcfg-eth0 2.vi /etc/sysconfig/network 3.vi /etc/udev/rules.d/70-persistent-net.rules 二.防火墙 1.查看状态：service iptables ...
搭建集群（。。。多创建几台服务器，然后连接）
地铁和人海
04-12 6763
我们使用克隆的方法创建虚拟机 步骤 ①开机 ②去除网卡信息中的两个唯一标识， 再删掉一个含标识信息的文件/etc/udev/rules.d下的70-persistent-net.rules文件。 ③关机 ④调整内存（调到512M，内存够大可以不用调），在主页面中点击内存可以调 ⑤进行克隆， 点击这个图标 进入这个页面 点击克隆进入这个页面 下一步，进入 因为你刚开始进行克隆，所以没有...
Redis-cluster集群如何搭建
m0_50729329的博客
06-09 194
相信小伙伴们都搭建过集群，这篇文章是我工作之余编写出来的，希望能给给位初学者一点帮助。 本篇文章在借助了csdn上的诸多博客和自己实践的基础上编写
如何搭建一个集群项目
ToBeNO1_CJ的博客
08-14 2165
如何搭建一个集群项目一、集群项目是什么？二、集群项目有什么用？原文地址：https://blog.csdn.net/yongshuai185/article/details/89455760功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导
hadoop完全分布式集群搭建全过程
最新发布
03-16
Hadoop完全分布式集群搭建全过程如下： 1. 安装Java环境：Hadoop是基于Java开发的，因此需要先安装Java环境。 2. 下载Hadoop：从官网下载Hadoop的最新版本。 3. 配置Hadoop环境变量：将Hadoop的bin目录添加到系统...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值