hadoop分布式搭建（+zookeeper，6台机器）

最新推荐文章于 2024-03-13 16:48:01 发布
最新推荐文章于 2024-03-13 16:48:01 发布
阅读量2.7k 收藏 4
点赞数 1
分类专栏： hadoop 大数据技术 文章标签： hadoop分布式集群 centos zookeeper
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Vinsuan1993/article/details/70155112
版权


前期准备（这里使用的centOS6，hadoop2.2.0【这是64位的hadoop2.2.0的安装包和源码包下载地址：http://download.csdn.net/detail/vinsuan1993/9812599】）：
1.修改Linux主机名
2.修改IP
3. 修改主机名和IP的映射关系
######注意######如果是租用的服务器或是使用的云主机（如华为用主机、阿里云主机等）
/etc/hosts里面要配置的是内网IP地址和主机名的映射关系
4.关闭防火墙
5.ssh免登陆 
6.安装JDK（64位的jdk下载地址：http://download.csdn.net/detail/vinsuan1993/9812609），配置环境变量等




集群规划：



说明：
在hadoop2.0中通常由两个NameNode组成，一个处于active状态，另一个处于standby状态。Active NameNode对外提供服务，而Standby NameNode则不对外提供服务，仅同步active namenode的状态，以便能够在它失败时快速进行切换。
hadoop2.0官方提供了两种HDFS HA的解决方案，一种是NFS，另一种是QJM。这里我们使用简单的QJM。在该方案中，主备NameNode之间通过一组JournalNode同步元数据信息，一条数据只要成功写入多数JournalNode即认为写入成功。通常配置奇数个JournalNode
这里还配置了一个zookeeper集群，用于ZKFC（DFSZKFailoverController）故障转移，当Active NameNode挂掉了，会自动切换Standby NameNode为standby状态

安装步骤：
1.安装配置zooekeeper集群(见博客：http://blog.csdn.net/vinsuan1993/article/details/70094261)


2.安装配置hadoop集群
2.1解压
tar -zxvf hadoop-2.2.0.tar.gz -C /heres/
2.2配置HDFS（hadoop2.0所有的配置文件都在$HADOOP_HOME/etc/hadoop目录下）
#将hadoop添加到环境变量中
vim /etc/profile 
export JAVA_HOME=/usr/java/jdk1.7.0_55
export HADOOP_HOME=/heres/hadoop-2.2.0
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin

#hadoop2.0的配置文件全部在$HADOOP_HOME/etc/hadoop下
cd /heres/hadoop-2.2.0/etc/hadoop

2.2.1修改hadoop-env.sh 
export JAVA_HOME=/usr/java/jdk1.7.0_55

2.2.2修改core-site.xml 
<configuration>
<!-- 指定hdfs的nameservice为ns1 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://ns1</value>
</property>
<!-- 指定hadoop临时目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/heres/hadoop-2.2.0/tmp</value>
</property>
<!-- 指定zookeeper地址 -->
<property>
<name>ha.zookeeper.quorum</name>
<value>heres04:2181,heres05:2181,heres06:2181</value>
</property>
</configuration>

2.2.3修改hdfs-site.xml 
<configuration>
<!--指定hdfs的nameservice为ns1，需要和core-site.xml中的保持一致 -->
<property>
<name>dfs.nameservices</name>
<value>ns1</value>
</property>
<!-- ns1下面有两个NameNode，分别是nn1，nn2 -->
<property>
<name>dfs.ha.namenodes.ns1</name>
<value>nn1,nn2</value>
</property>
<!-- nn1的RPC通信地址 -->
<property>
<name>dfs.namenode.rpc-address.ns1.nn1</name>
<value>heres01:9000</value>
</property>
<!-- nn1的http通信地址 -->
<property>
<name>dfs.namenode.http-address.ns1.nn1</name>
<value>heres01:50070</value>
</property>
<!-- nn2的RPC通信地址 -->
<property>
<name>dfs.namenode.rpc-address.ns1.nn2</name>
<value>heres02:9000</value>
</property>
<!-- nn2的http通信地址 -->
<property>
<name>dfs.namenode.http-address.ns1.nn2</name>
<value>heres02:50070</value>
</property>
<!-- 指定NameNode的元数据在JournalNode上的存放位置 -->
<property>
<name>dfs.namenode.shared.edits.dir</name>
<value>qjournal://heres04:8485;heres05:8485;heres06:8485/ns1</value>
</property>
<!-- 指定JournalNode在本地磁盘存放数据的位置 -->
<property>
<name>dfs.journalnode.edits.dir</name>
<value>/heres/hadoop-2.2.0/journal</value>
</property>
<!-- 开启NameNode失败自动切换 -->
<property>
<name>dfs.ha.automatic-failover.enabled</name>
<value>true</value>
</property>
<!-- 配置失败自动切换实现方式 -->
<property>
<name>dfs.client.failover.proxy.provider.ns1</name>
<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>
<!-- 配置隔离机制方法，多个机制用换行分割，即每个机制暂用一行-->
<property>
<name>dfs.ha.fencing.methods</name>
<value>
sshfence
shell(/bin/true)
</value>
</property>
<!-- 使用sshfence隔离机制时需要ssh免登陆 -->
<property>
<name>dfs.ha.fencing.ssh.private-key-files</name>
<value>/root/.ssh/id_rsa</value>
</property>
<!-- 配置sshfence隔离机制超时时间 -->
<property>
<name>dfs.ha.fencing.ssh.connect-timeout</name>
<value>30000</value>
</property>
</configuration>

2.2.4修改mapred-site.xml 
<configuration>
<!-- 指定mr框架为yarn方式 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>

2.2.5修改yarn-site.xml 
<configuration>
<!-- 指定resourcemanager地址 -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>heres03</value>
</property>
<!-- 指定nodemanager启动时加载server的方式为shuffle server -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>

2.2.6修改slaves(slaves是指定子节点的位置，因为要在heres01上启动HDFS、在heres03启动yarn，所以heres01上的slaves文件指定的是datanode的位置，heres03上的slaves文件指定的是nodemanager的位置) 
heres04
heres05
heres06

2.2.7配置免密码登陆
#首先要配置heres01到heres02、heres03、heres04、heres05、heres06的免密码登陆
#在heres01上生产一对钥匙
ssh-keygen -t rsa
#将公钥拷贝到其他节点，包括自己
ssh-coyp-id heres01
ssh-coyp-id heres02
ssh-coyp-id heres03
ssh-coyp-id heres04
ssh-coyp-id heres05
ssh-coyp-id heres06

#配置heres03到heres04、heres05、heres06的免密码登陆
#在heres03上生产一对钥匙
ssh-keygen -t rsa
#将公钥拷贝到其他节点
ssh-coyp-id heres04
ssh-coyp-id heres05
ssh-coyp-id heres06

#注意：两个namenode之间要配置ssh免密码登陆，别忘了配置heres02到heres01的免登陆
在heres02上生产一对钥匙
ssh-keygen -t rsa
ssh-coyp-id -i heres01

2.4将配置好的hadoop拷贝到其他节点
scp -r /heres/ heres02:/
scp -r /heres/ heres03:/
scp -r /heres/hadoop-2.2.0/ root@heres04:/heres/
scp -r /heres/hadoop-2.2.0/ root@heres05:/heres/
scp -r /heres/hadoop-2.2.0/ root@heres06:/heres/

###注意：严格按照下面的步骤
2.5启动zookeeper集群（分别在heres04、heres05、heres06上启动zk）
cd /heres/zookeeper-3.4.5/bin/
./zkServer.sh start
#查看状态：一个leader，两个follower
./zkServer.sh status

2.6启动journalnode（在heres01上启动所有journalnode，注意：是调用的hadoop-daemons.sh这个脚本，注意是复数s的那个脚本）
cd /heres/hadoop-2.2.0
sbin/hadoop-daemons.sh start journalnode
#运行jps命令检验，heres04、heres05、heres06上多了JournalNode进程

2.7格式化HDFS
#在heres01上执行命令:
hdfs namenode -format
#格式化后会在根据core-site.xml中的hadoop.tmp.dir配置生成个文件，这里我配置的是/heres/hadoop-2.2.0/tmp，然后将/heres/hadoop-2.2.0/tmp拷贝到heres02的/heres/hadoop-2.2.0/下。
scp -r tmp/ heres02:/heres/hadoop-2.2.0/

2.8格式化ZK(在heres01上执行即可)
hdfs zkfc -formatZK

2.9启动HDFS(在heres01上执行)
sbin/start-dfs.sh


2.10启动YARN(#####注意#####：是在heres03上执行start-yarn.sh，把namenode和resourcemanager分开是因为性能问题，因为他们都要占用大量资源，所以把他们分开了，他们分开了就要分别在不同的机器上启动)
sbin/start-yarn.sh

到此，hadoop2.2.0配置完毕，可以通过浏览器访问:
http://192.168.1.201:50070
NameNode 'heres01:9000' (active)
http://192.168.1.202:50070
NameNode 'heres02:9000' (standby)

验证HDFS HA
首先向hdfs上传一个文件
hadoop fs -put /etc/profile /profile
hadoop fs -ls /
然后再kill掉active的NameNode
kill -9 <pid of NN>
通过浏览器访问：http://192.168.1.202:50070
NameNode 'heres02:9000' (active)
这个时候heres02上的NameNode变成了active
在执行命令：
hadoop fs -ls /
-rw-r--r--   3 root supergroup       1926 2014-02-06 15:36 /profile
刚才上传的文件依然存在！！！
手动启动那个挂掉的NameNode
sbin/hadoop-daemon.sh start namenode
通过浏览器访问：http://192.168.1.201:50070
NameNode 'heres01:9000' (standby)

验证YARN：
运行一下hadoop提供的demo中的WordCount程序：
hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.2.0.jar wordcount /profile /out

OK，大功告成！！！

注意：大家在按照这个教程配置的时候，请每一步做好验证，当都通过的话，可能会出现nodeManager启动不起来，解决办法（如果还不行，可以参考这篇博客：http://blog.csdn.net/ling811/article/details/51887569）：

大部分都是修改 yarn-site.xml 中的yarn.scheduler.minimum-allocation-mb 内存大于1024。

 <property>
        <!--参数解释：NodeManager总的可用物理内存。注意，该参数是不可修改的，一旦设置，整个运行过程中不 可动态修改。另外，该参数的默认值是8192MB，即使你的机器内存不够8192MB，YARN也会按照这些内存来使用（傻不傻？），因此，这个值通过一 定要配置。不过，Apache已经正在尝试将该参数做成可动态修改的。默认值：8192(8GB)当该值配置小于1024(1GB)时，NM是无法启动的！会>报错:NodeManager from  slavenode2 doesn't satisfy minimum allocations, Sending SHUTDOWN signal to the NodeManager.-->
        <name>yarn.nodemanager.resource.memory-mb</name>
        <value>1024</value>
    </property>

hadoop停启命令：

1、启动zookeeper服务；

2.在配置好ssh服务的机器上：sbin/start-dfs.sh 

3.在将要运行resourceManager服务的机器上：sbin/start-yarn.sh


-Heres-
关注
  • 1
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hadoop2.7.3+HBase1.2.5+ZooKeeper3.4.6搭建分布式集群环境详解
11-10
本文档详细介绍了如何用ZooKeeper和Hadoop、HBase搭建分布式大数据分析平台。
hadoop完全分布式部署
Java日常笔记精选的博客
07-08 144
本示例使用vm安装五台虚拟机 1.准备五台机器，修改ip,hostname,hosts 五台机器分别为：s101,s102,s103,s104,s105 CentOS7设置静态IP 使用VM NAT模式 修改hostname.note 修改hosts文件.note 2.安装JDK配置环境变量 linux安装jdk.note 3.安装hadoop配置环境变量 4.安装ssh，配置免...
Centos7搭建Hadoop HA完全分布式集群（6台机器）（内含hbase，hive，flume，kafka，spark，sqoop，phoenix，storm）
Mr.Cao
01-30 2571
目录 Centos7搭建Hadoop HA完全分布式集群（6台机器）（内含hbase，hive，flume，kafka，spark，sqoop，phoenix，storm）. 1 前期配置. 2 安装jdk 5 安装zookeeper 7 安装hadoop 8 启动集群. 17 安装hbase 21 安装hive 27 安装Flume 34 安装kafka 37 安装spar...
HADOOP完全分布式搭建（饭制版）
最新发布
weixin_61494821的博客
03-13 1392
HADOOP完全分布式搭建
大数据之Hadoop3.x 运行环境搭建（免费下载Hadoop全套安装包、大数据简历模板和大数据面试真题）
热门推荐
努力让自己发光，对的人才能迎着光而来
10-28 1万+
大数据之Hadoop3.x 运行环境搭建（免费下载Hadoop全套安装包、大数据简历模板和大数据面试真题）
Hadoop3 - 集群搭建
小毕超博客
10-04 1821
集群启动有两种方式，一种是在每台主机中启动相应的组件，另一种 hadoop 为我们提供了一键启停脚本，前提是配置好机器之间的SSH免密登录和workers文件。访问地址：http://resourcemanager_host:8088。访问地址：http://namenode_host:9870。集群，两者逻辑上分离，但物理上常在一起。进行了简单的介绍，并搭建了单机版的。，本篇文章继续搭建集群版本的。三台主机需具备 Java 环境。下面准备在三台服务器上安装。
Hadoop完全分布式集群的搭建及配置
m0_73971893的博客
03-04 748
Hadoop搭建
( hadoop-2.7.3+zookeeper-3.4.8+hadoop-2.7.3分布式环境搭建整理
04-25
[Doker+HBASE+HADOOP+Zookeeper]全分布式环境搭建
05-31
[Doker+HBASE+HADOOP+Zookeeper]全分布式环境搭建
Hadoop+Hive+Spark+Kafka+Zookeeper+Flume+Sqoop+Azkaban+Scala
05-05
基于 Zookeeper 搭建 Hadoop 高可用集群 二、Hive 简介及核心概念 Linux 环境下 Hive 的安装部署 CLI 和 Beeline 命令行的基本使用 常用 DDL 操作 分区表和分桶表 视图和索引 常用 DML 操作 数据查询详解 三、Spark ...
1、hadoop3.1.3 分布式集群搭建的详细教程
STAR GAME
02-29 3945
1、创建虚拟机 扩展知识： VMware虚拟机的网络模式 — 桥接模式、仅主机模式、NAT模式的特点和配置 2、用户登录过程中遇到的问题 扩展知识： xxx is not in the sudoers file.This incident will be reported.的解决方法 Ubuntu16.04 只能以游客身份登录问题 每天学一个linux命令——chown将指定文件的拥有者改为指定的...
Hadoop集群搭建教程(hadoop-3.1.3手把手教学)超详细！！！
weixin_44168795的博客
06-24 1844
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录前言一、集群机器的准备1、关闭防火墙2、配置静态 IP3、主机名称二、配置SSH无密登录1、以192.168.29.151为例2、安装配置jdk和hadoop3、文件复制三、hadoop的集群配置1、集群的配置介绍2、4个xml文件的配置3、配置workers四、启动集群1、NameNode初始化2、启动 HDFS、YARN3、验证是否成功启动4、有可能的出错总结 前言 本文是基于hadoop-3.1.3搭建的集群，集群规模是5台
Hadoop-3.1.3集群搭建详细过程
weixin_49060400的博客
08-16 1806
Hadoop运行环境搭建 1.虚拟机环境准备 1)准备一台模板虚拟机hadoop100，虚拟机配置要求如下： ​ 备注：本文Linux系统环境全部以CentOS-7.5-x86-1804为例说明 模板虚拟机：内存4G，硬盘50G，安装必要环境，为安装hadoop做准备 [root@hadoop100 ~]# yum install -y epel-release [root@hadoop100 ~]# yum install -y psmisc nc net-tools rsync vim lrzsz n
Hadoop 3.1.3 分布式集群搭建，超详细，保姆级教程
m0_50293032的博客
09-18 8560
Hadoop 3.1.3 分布式集群搭建，超详细，保姆级教程1.环境准备2 jdk1.8安装2.1 卸载虚拟机自带的JDK2.2 安装JDK1.83.在 hadoop102 安装Hadoop集群3.1集群安装准备3.2 安装hadoop3.3 hadoop运行模式3.4 完全分布式运行模式（开发重点）3.4.1 编写集群分发脚本 xsync3.4.2 ssh免密配置3.4.3 集群配置3.4.4 启动集群 在学习的时候，碰到过很多同学，因为安装集群遇到过各种稀奇古怪的问题，导致很多人的兴趣大大降低。并且本人
三台机器搭建Hadoop集群
Hebe
11-30 6108
目标： 一台Master   两台Slave 一、修改主机名，配置/etc/hosts文件       "/etc/hosts"这个文件是用来配置主机将用的DNS服务器信息，是记载LAN内接续的各主机的对应[HostName  IP]用的。当用户在进行网络连接时，首先查找该文件，寻找对应主机名对应的IP地址。在/etc/hosts文件里面添加如下：        可以ping
完全分布式hadoop3.1.3集群搭建
qq_46480020的博客
02-13 1074
各组件和机器间的对应关系如下表 hadoop100 hadoop101 hadoop102 HDFS NameNode DataNode DataNode SecondaryNameNode DataNode YARN NodeManager Resource Manager NodeManager NodeManager 原则上是NameNode和SecondaryNameNode不在一台机器上；而且ResourceManager消耗资源比较高，放在资源相对充足的
Hadoop3.1.3搭建集群
QYHuiiQ
07-03 939
Index of /dist/hadoop/common/hadoop-3.1.3这里我下载的是3.1.3.tar.gz。节点分配：首先，对于HDFS来说，NameNode和SecondaryNameNode是肯定要放在不同节点上的，其次，对于YARN中的ResourceManager来说，由于它也比较消耗资源，所以也尽量和NameNode/SecondaryNameNode分开放在不同节点上。NameNodeDataNodeNodeManagerResourceManagerDataNodeNodeMan
Hadoop3.1.3 集群环境搭建
make_progress的博客
10-19 1315
Hadoop3.1.3 集群环境搭建
基于Centos7和Hadoop3.1.3搭建完全分布式集群（2）
weixin_42796403的博客
12-03 715
基于Centos7和Hadoop3.1.3搭建完全分布式集群（2） 目录基于Centos7和Hadoop3.1.3搭建完全分布式集群（2）一、搭建完全分布式集群运行模式二、相关环境配置2.1 编写集群分发脚本xsync2.2 配置SSH无密登录三、集群配置四、群起集群五、集群启动/停止方式总结六、配置历史服务器七、 配置日志的聚集八、集群时间同步 一、搭建完全分布式集群运行模式 分析： 1）准备3台客户机（关闭防火墙、静态ip、主机名称） 2）安装JDK 3）配置环境变量 4）安装Hadoop 5）配置环境
hadoop+hive+spark+zookeeper+hbase大数据环境搭建
06-28
### 回答1： 搭建大数据环境需要以下步骤： 1. 安装Hadoop：Hadoop是一个分布式计算框架，用于处理大规模数据集。安装Hadoop需要下载Hadoop软件包，并进行配置。 2. 安装Hive：Hive是一个数据仓库工具，用于在Hadoop上进行数据分析和查询。安装Hive需要下载Hive软件包，并进行配置。 3. 安装Spark：Spark是一个快速的大数据处理框架，用于在Hadoop上进行数据处理和分析。安装Spark需要下载Spark软件包，并进行配置。 4. 安装Zookeeper：Zookeeper是一个分布式协调服务，用于管理Hadoop集群中的节点。安装Zookeeper需要下载Zookeeper软件包，并进行配置。 5. 安装HBase：HBase是一个分布式的NoSQL数据库，用于存储和管理大规模数据。安装HBase需要下载HBase软件包，并进行配置。 以上是搭建大数据环境的基本步骤，需要根据实际情况进行具体的配置和调整。 ### 回答2： 随着互联网技术的不断发展，越来越多的数据被产生和需要处理，因此，搭建大数据环境成为了一项非常重要的工作。目前，Hadoop、Hive、Spark、Zookeeper、Hbase等大数据技术成为了最为重要的技术。下面，我们来详细介绍这些技术的大数据环境搭建。 1. Hadoop的安装 Hadoop是一个开源的分布式文件系统和数据处理框架，可以处理大规模数据的存储和处理。Hadoop的安装主要包括以下几个步骤： 1）安装JDK环境； 2）下载Hadoop的二进制包； 3）解压Hadoop的二进制包，并配置环境变量； 4）修改Hadoop的相关配置文件； 5）启动Hadoop。 2. Hive的安装 Hive是一个基于Hadoop的数据仓库工具，提供了类似于SQL的查询语言，可以用于大规模数据仓库的创建和查询。Hive的安装主要包括以下几个步骤： 1）安装JDK环境； 2）下载Hive的二进制包； 3）解压Hive的二进制包，并配置环境变量； 4）修改Hive的相关配置文件； 5）启动Hive。 3. Spark的安装 Spark是一个快速而通用的大数据处理引擎，可以执行大规模数据处理任务，并支持分布式计算。Spark的安装主要包括以下几个步骤： 1）安装JDK环境； 2）下载Spark的二进制包； 3）解压Spark的二进制包，并配置环境变量； 4）修改Spark的相关配置文件； 5）启动Spark。 4. Zookeeper的安装 Zookeeper是一个高性能分布式应用程序协调服务，可以用于协调和同步大规模集群中的应用程序。Zookeeper的安装主要包括以下几个步骤： 1）安装JDK环境； 2）下载Zookeeper的二进制包； 3）解压Zookeeper的二进制包，并配置环境变量； 4）修改Zookeeper的相关配置文件； 5）启动Zookeeper。 5. Hbase的安装 Hbase是一个基于Hadoop的分布式非关系型数据库，提供了类似于Google的Bigtable的基于列的存储方式。Hbase的安装主要包括以下几个步骤： 1）安装JDK环境； 2）下载Hbase的二进制包； 3）解压Hbase的二进制包，并配置环境变量； 4）修改Hbase的相关配置文件； 5）启动Hbase。 在完成上述大数据技术的安装后，我们还需在使用时将它们进行整合，以达到更加高效的数据处理和管理。这些技术之间的整合一般都需要配置相关的XML文件和环境变量，具体操作可根据实际情况去修改和设置。小编建议，初学者应该多参考一些大佬的经验，互联网上有很多大牛分享了上述技术的搭建方法，读者可以多花些时间去学习和了解。 ### 回答3： 随着现代信息技术的不断发展，大数据的应用越来越广泛。作为目前大数据环境的主流组件，Hadoop、Hive、Spark、Zookeeper和HBase都是大数据领域的重要工具。为了能够更好地进行大数据分析和处理，需要对这些工具进行合理的搭建和配置。 1. Hadoop的搭建 Hadoop是一个分布式存储和计算的框架，搭建Hadoop需要安装JAVA环境，并下载相应的Hadoop压缩包。将Hadoop解压到本地目录，在安装文件中设置JAVA_HOME和HADOOP_HOME环境变量。启动Hadoop需要先启动NameNode和DataNode，然后启动JobTracker和TaskTracker。搭建好Hadoop后，还需要使用HDFS命令行或Hadoop API进行文件的上传、下载、删除等基本操作。 2. Hive的搭建 Hive是一个基于Hadoop的数据仓库工具，可以将结构化数据映射到Hadoop的存储系统中。Hive搭建需要先安装JAVA环境和Hadoop，然后下载并解压Hive压缩包。将Hive和Hadoop的配置文件进行关联，启动Hive服务时需要启动Metastore和HiveServer2服务。搭建完成后，可以使用HiveQL语句进行数据的查询、插入、删除等操作。 3. Spark的搭建 Spark是一个快速通用的大数据计算引擎，可用于数据分析、机器学习等场景。Spark搭建需要安装JAVA和Scala等相关组件，并下载Spark压缩包。将Spark解压到本地目录后，设置SPARK_HOME环境变量以及Hadoop和YARN的配置相关参数。启动Spark服务时需要先启动Master和Slave节点。搭建完成后，可以使用Spark Shell和Spark SQL进行数据处理和分析。 4. Zookeeper的搭建 Zookeeper是一个分布式的协调服务，可以用于管理各类分布式应用程序的配置和信息。将Zookeeper下载并解压到本地目录，设置ZOOKEEPER_HOME环境变量，并修改Zoo.cfg配置文件中的端口号、数据目录等相关参数。启动Zookeeper服务时需要先启动一个Leader和多个Follower。搭建完成后，可以使用ZooKeeper API对Zookeeper的节点进行管理和配置。 5. HBase的搭建 HBase是一个列存储数据库，可以在Hadoop上提供实时读写服务。HBase搭建需要安装JAVA环境、Hadoop和Zookeeper，并下载HBase压缩包。将HBase解压到本地目录，并进行相关配置，比如修改HBase-site.xml配置文件的参数、设置HBASE_HOME环境变量等。启动HBase服务前需要先启动Zookeeper服务。搭建完成后，可以使用Java API或HBase Shell进行数据的读写操作。 综上所述，搭建大数据环境需要先安装基础的JAVA环境和相关组件，然后根据各个工具的安装包进行相应的配置和启动，最后进行测试和调试。在搭建过程中需要注意版本、路径等问题，避免出现配置错误。经过搭建和调试后，可以使用这些工具进行海量数据的分析和处理，为企业的决策提供有力的支持。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值