ZooKeeper+HBase分布式集群环境搭建

安装版本:hadoop-2.10.1、zookeeper-3.4.12、hbase-2.3.1

一、zookeeper集群搭建与配置

1.下载zookeeper安装包

2.解压移动zookeeper

fd5fe31d7a194a9d8c4a99ef371d9542.png

26a51581f293425c91707959935cb66e.png

3.修改配置文件(创建文件夹)

dcc800d15df74114af46aa5468886342.png

4.进入conf/

c49f204f6b7b410d9b1d43e506b5e47f.png

5.修改zoo.cfg文件

7eecb46b5df148c4a3b2e74388203bab.png

f493647f2fd146ff825ca9ba71cd7cd0.png

6.进入/usr/local/zookeeper-3.4.12/zkdatas/这个路径下创建一个文件,文件名为myid ,文件内容为1

09c3aaa46dd148fa93fa970d3f105f3a.pngbf5a3735ef504affb67090410c6a6ad7.png

7. 拷贝到两个节点上

复制到slave1

903b8ccc1fb44fae9fca03e7f7d76111.png

复制到slave2

3f96222b1f474a09bf10ad457da3cbde.png

查看是否复制到节点

slave1624a3786ca804be9948e2fc598a05d7f.pngslave2c5a438086b0c446983b8298984692e44.png

8.在节点上执行命令

Slave18930cff065194925803379977680e094.pngSlave22e329ebf647c45f68b9e3dd7a6ba6b17.png

9.配置环境变量(三个节点都配置)

79657d61a0a04148a7a9c93274c382bf.pngba97629a31894f8791e4ebe9941596ec.png

10. 让新添环境变量生效(三个节点都在hadoop用户下执行)

2086ee4e036d468caaed14b66f3375d5.png5ca06640eb8640a5ac1fa606f6dcfbfa.png

11.启动zookeeper服务

三台机器启动zookeeper服务;这个命令三台机器都要执行

Master8d189ffea6d147de83b9bf69661b3aca.pngSlave152177f4cece14d47856a97660d2c2818.pngSlave28e81b7fb6991498d858d47bd0444119e.png

12.查看状态

Master812c683711c94c6ea3013b9cda2163f5.pngSlave1074aee22f43e4ee18984dcd8a44cd691.pngSlave260ce120b2b324df89968ce88362a2747.png

二、HBase分布式环境搭建与配置

1.下载安装包

486e0ffd5cbd46d8b34a2bc9533a6117.png

2.解压HBase压缩包并移动到/usr/local/路径下(此处用的hbase-1.7.1版本作为演示)

d3e2dfa9d559464fab772ce6d7cc297d.png

83758cc3a67c4d5790abb79ae211ee2f.png

3.配置环境变量

8459a146712944c687e15a758b61aecd.pngc527479c59ca45fbb159d41f9c2674d4.png

4.进入HBase的conf文件夹下更改文件配置

ca046010d6d54e858cadf4a40dada027.png

5.更改hbase-env.sh文件

5203b681fe5e4b92b7509d545ea086ec.png

e198b0579590426f91f33e1d643d383d.pngcf9a6664f3da4e29849a33ee99b72c25.png

6.更改hbase-site.xml文件

b105341082034650a4b96b1a8a1fc09b.png

7.在regionservers中添加hostname

4223023a68be4c58919edf60638eb0ed.png8382424336504f088f6b4347c7c6d6a5.png

8.将配置好的hbase拷贝到slave1、slave2节点上

bc4c522dbd8e47db8bfc4c1b871b49f7.pngae6fe8779ca84c6d8bc8bb5226c08d52.png

9.配置节点环境变量(三个节点都进行,版本是2.3.1不要按照下方版本写)

e805316ee0de45509c83d6935500ec52.png8790ddd6257a4e8fbb51ffffede0483e.png10.让环境变量生效(三个都进行)

f276a0d18205401eb7114abe3f076799.png

11.启动Hbase(只在Master启动,启动前一定要启动zookeeper服务和hadoop)

1a6c127298034047bead46affe3f87b5.png

12.jps查看进程

Master92dac599a64940f682a704fab9e7d7e6.pngSlave142fc7a10ed714505a87b7668ece695c2.pngSlave2365338b9a65242dd8a621cae693c3329.png

13.进入hbase shell

Master7566104812ca43ce800d54cad1138a62.pngSlave1e032f1a1de8f420dab76ee58d1b658a5.pngSlave265f062cd2f6b4bf4a151ffe556c658ec.png

14.创建表”student”

0ffdc376d7c648968f091f55b53b1466.png

15.查看Hadoop状态(在浏览器网址栏输入你的ip+:50070,示例192.168.1.1:50070)

f2024458b3454b3a9a2c17f5f1e84235.png

16.查看hbase下文件

1d71f1f2949447b883bd0687ec19091b.png

60c67fe5f7ac40b5a80cf89570eed539.gif

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
### 回答1: 搭建大数据环境需要以下步骤: 1. 安装Hadoop:Hadoop是一个分布式计算框架,用于处理大规模数据集。安装Hadoop需要下载Hadoop软件包,并进行配置。 2. 安装Hive:Hive是一个数据仓库工具,用于在Hadoop上进行数据分析和查询。安装Hive需要下载Hive软件包,并进行配置。 3. 安装Spark:Spark是一个快速的大数据处理框架,用于在Hadoop上进行数据处理和分析。安装Spark需要下载Spark软件包,并进行配置。 4. 安装ZookeeperZookeeper是一个分布式协调服务,用于管理Hadoop集群中的节点。安装Zookeeper需要下载Zookeeper软件包,并进行配置。 5. 安装HBaseHBase是一个分布式的NoSQL数据库,用于存储和管理大规模数据。安装HBase需要下载HBase软件包,并进行配置。 以上是搭建大数据环境的基本步骤,需要根据实际情况进行具体的配置和调整。 ### 回答2: 随着互联网技术的不断发展,越来越多的数据被产生和需要处理,因此,搭建大数据环境成为了一项非常重要的工作。目前,Hadoop、Hive、Spark、ZookeeperHbase等大数据技术成为了最为重要的技术。下面,我们来详细介绍这些技术的大数据环境搭建。 1. Hadoop的安装 Hadoop是一个开源的分布式文件系统和数据处理框架,可以处理大规模数据的存储和处理。Hadoop的安装主要包括以下几个步骤: 1)安装JDK环境; 2)下载Hadoop的二进制包; 3)解压Hadoop的二进制包,并配置环境变量; 4)修改Hadoop的相关配置文件; 5)启动Hadoop。 2. Hive的安装 Hive是一个基于Hadoop的数据仓库工具,提供了类似于SQL的查询语言,可以用于大规模数据仓库的创建和查询。Hive的安装主要包括以下几个步骤: 1)安装JDK环境; 2)下载Hive的二进制包; 3)解压Hive的二进制包,并配置环境变量; 4)修改Hive的相关配置文件; 5)启动Hive。 3. Spark的安装 Spark是一个快速而通用的大数据处理引擎,可以执行大规模数据处理任务,并支持分布式计算。Spark的安装主要包括以下几个步骤: 1)安装JDK环境; 2)下载Spark的二进制包; 3)解压Spark的二进制包,并配置环境变量; 4)修改Spark的相关配置文件; 5)启动Spark。 4. Zookeeper的安装 Zookeeper是一个高性能分布式应用程序协调服务,可以用于协调和同步大规模集群中的应用程序。Zookeeper的安装主要包括以下几个步骤: 1)安装JDK环境; 2)下载Zookeeper的二进制包; 3)解压Zookeeper的二进制包,并配置环境变量; 4)修改Zookeeper的相关配置文件; 5)启动Zookeeper。 5. Hbase的安装 Hbase是一个基于Hadoop的分布式非关系型数据库,提供了类似于Google的Bigtable的基于列的存储方式。Hbase的安装主要包括以下几个步骤: 1)安装JDK环境; 2)下载Hbase的二进制包; 3)解压Hbase的二进制包,并配置环境变量; 4)修改Hbase的相关配置文件; 5)启动Hbase。 在完成上述大数据技术的安装后,我们还需在使用时将它们进行整合,以达到更加高效的数据处理和管理。这些技术之间的整合一般都需要配置相关的XML文件和环境变量,具体操作可根据实际情况去修改和设置。小编建议,初学者应该多参考一些大佬的经验,互联网上有很多大牛分享了上述技术的搭建方法,读者可以多花些时间去学习和了解。 ### 回答3: 随着现代信息技术的不断发展,大数据的应用越来越广泛。作为目前大数据环境的主流组件,Hadoop、Hive、Spark、ZookeeperHBase都是大数据领域的重要工具。为了能够更好地进行大数据分析和处理,需要对这些工具进行合理的搭建和配置。 1. Hadoop的搭建 Hadoop是一个分布式存储和计算的框架,搭建Hadoop需要安装JAVA环境,并下载相应的Hadoop压缩包。将Hadoop解压到本地目录,在安装文件中设置JAVA_HOME和HADOOP_HOME环境变量。启动Hadoop需要先启动NameNode和DataNode,然后启动JobTracker和TaskTracker。搭建好Hadoop后,还需要使用HDFS命令行或Hadoop API进行文件的上传、下载、删除等基本操作。 2. Hive的搭建 Hive是一个基于Hadoop的数据仓库工具,可以将结构化数据映射到Hadoop的存储系统中。Hive搭建需要先安装JAVA环境和Hadoop,然后下载并解压Hive压缩包。将Hive和Hadoop的配置文件进行关联,启动Hive服务时需要启动Metastore和HiveServer2服务。搭建完成后,可以使用HiveQL语句进行数据的查询、插入、删除等操作。 3. Spark的搭建 Spark是一个快速通用的大数据计算引擎,可用于数据分析、机器学习等场景。Spark搭建需要安装JAVA和Scala等相关组件,并下载Spark压缩包。将Spark解压到本地目录后,设置SPARK_HOME环境变量以及Hadoop和YARN的配置相关参数。启动Spark服务时需要先启动Master和Slave节点。搭建完成后,可以使用Spark Shell和Spark SQL进行数据处理和分析。 4. Zookeeper搭建 Zookeeper是一个分布式的协调服务,可以用于管理各类分布式应用程序的配置和信息。将Zookeeper下载并解压到本地目录,设置ZOOKEEPER_HOME环境变量,并修改Zoo.cfg配置文件中的端口号、数据目录等相关参数。启动Zookeeper服务时需要先启动一个Leader和多个Follower。搭建完成后,可以使用ZooKeeper API对Zookeeper的节点进行管理和配置。 5. HBase搭建 HBase是一个列存储数据库,可以在Hadoop上提供实时读写服务。HBase搭建需要安装JAVA环境、Hadoop和Zookeeper,并下载HBase压缩包。将HBase解压到本地目录,并进行相关配置,比如修改HBase-site.xml配置文件的参数、设置HBASE_HOME环境变量等。启动HBase服务前需要先启动Zookeeper服务。搭建完成后,可以使用Java API或HBase Shell进行数据的读写操作。 综上所述,搭建大数据环境需要先安装基础的JAVA环境和相关组件,然后根据各个工具的安装包进行相应的配置和启动,最后进行测试和调试。在搭建过程中需要注意版本、路径等问题,避免出现配置错误。经过搭建和调试后,可以使用这些工具进行海量数据的分析和处理,为企业的决策提供有力的支持。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

马龙强_

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值