Linux环境下安装Java、Hadoop、Zookeeper、HBase

已于 2023-05-04 15:53:41 修改
阅读量409 收藏 3
点赞数
文章标签： hbase linux 大数据 java zookeeper
于 2022-12-31 15:12:47 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lou_csdn/article/details/128505709
版权

相关安装包在个人网盘，如果有需要可联系我

一、java1.8安装

1、jdk1.8下载

http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

我选择linux x64版本：

在这里插入图片描述

在线下载
//（有可能网络不通，需要下载后拷贝到服务器中）

wget https://download.oracle.com/otn/java/jdk/8u311-b11/4d5417147a92418ea8b615e228bb6935/jdk-8u311-linux-x64.tar.gz?AuthParam=1636183672_3e9fef57aa5ede6bc4ff6f2a37caff7f

下载以后通过命令检查安装包大小是否符合

ls -lht

在这里插入图片描述

2、安装

（1）创建安装目录

mkdir -p /usr/local/java/

（2）解压至安装目录

tar -zxvf jdk-8u311-linux-x64.tar.gz -C /usr/local/java/

3、设置环境变量

打开文件

vim /etc/profile

在末尾添加

export JAVA_HOME=/usr/local/java/jdk1.8.0_171
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH

使环境变量生效

source /etc/profile

4、检查是否安装成功

java -version

出现一下界面，则安装成功。
在这里插入图片描述

二、安装Hadoop

1、安装之前需做的一些事情

（1）配置hosts

[root@master ~]# vim /etc/hosts
添加以下内容:下面是你自己的ip
192.168.xx.xx master

在这里插入图片描述

（2）免密登录

[root@master ~]# ssh-keygen -t rsa

连续三次按Enter

1

接下来更改权限：

[root@master ~]# cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
[root@master ~]# chmod 700 ~/.ssh
[root@master ~]# chmod 600 ~/.ssh/authorized_keys

2、安装Hadoop

解压包：

[root@win102022tbbzzh package]# tar -zxvf hadoop-2.7.7.tar.gz -C /home/environment/hadoop

3、配置环境变量

在最下面添加如下代码（请切换自己的安装路径）

[root@master ~]# vim /etc/profile

export HADOOP_HOME="/opt/hadoop-2.7.7"
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

在这里插入图片描述

配置生效：

[root@win102022tbbzzh package]# source /etc/profile

4、配置文件

修改配置一下文件
*（文件都在 **/hadoop-2.7.7/etc/hadoop/ 文件夹下）
以下文件均通过 （ vim 文件名） 的方式进行编辑

（1）hadoop-env.sh文件

添加以下内容：

export JAVA_HOME="/home/environment/Java/jdk1.8.0_311"

在这里插入图片描述

（2）core-site.xml文件

添加以下内容：

<configuration>
  <property>
     <name>fs.defaultFS</name>
     <value>hdfs://master:9000</value>
  </property>
  <property>
     <name>hadoop.tmp.dir</name>
     <value>/home/data/tmp</value>
  </property>
</configuration>

注：hadoop.tmp.dir需要自己手动创建目录文件

[root@master hadoop]# mkdir -p /home/data/tmp

（3）hdfs-site.xml文件

添加以下内容：

<configuration>
  <property>
     <name>dfs.replication</name>
     <value>1</value>
  </property>
  <property>
     <name>dfs.namenode.name.dir</name>
     <value>file:/home/data/tmp/dfs/name</value>
  </property>
  <property>
     <name>dfs.datanode.data.dir</name>
     <value>file:/home/data/tmp/dfs/data</value>
  </property>
</configuration>

文件路径手动创建

在这里插入图片描述

（4）mapred-site.xml文件
注： 因为没有mapred-site.xml文件，所以复制一份

[root@master hadoop]# cp mapred-site.xml.template mapred-site.xml

添加以下内容：

<configuration>
  <property>
     <name>mapreduce.framework.name</name>
     <value>yarn</value>
  </property>
  <property>
     <name>mapreduce.app-submission.cross-platform</name>
     <value>true</value>
  </property>
</configuration>

在这里插入图片描述

（5）yarn-site.xml文件

添加以下内容：

<configuration>
  <property>
     <name>yarn.nodemanager.aux-services</name>
     <value>mapreduce_shuffle</value>
  </property>
  <property>
     <name>yarn.resourcemanager.hostname</name>
     <value>master</value>
  </property>
</configuration>

5、测试运行

进入bin目录下:

[root@win102022tbbzzh hadoop]# cd /home/environment/hadoop/hadoop-2.7.7/bin

在这里插入图片描述

（1）格式化hdfs
格式化是对HDFS这个分布式文件系统中的DataNode进行分块，统计所有分块后的初始元数据的存储在NameNode中。

[root@master bin]# hdfs namenode -format

（2）启动 hadoop

[root@master bin]# start-all.sh

注：这里启动是需要输入密码，所有说为什么之前我们要设置免密登录，不然我们每次都要输入密码很麻烦，但第一次启动它要提醒你输入yes，以后就不用呢。

看到有以下内容就证明我们hadoop配置成功呢！
在这里插入图片描述

（3）查看NameNode格式化后的目录

[root@master ~]# ll /opt/data/tmp/dfs/name/current/

在这里插入图片描述

  • fsimage是NameNode元数据在内存满了后，持久化保存到的文件；
  • fsimage*.md5 是校验文件，用于校验fsimage的完整性；
  • seen_txid 是hadoop的版本；
  • vession文件里保存：
    namespaceID：NameNode的唯一ID。
    clusterID:集群ID，NameNode和DataNode的集群ID应该一致，表明是一个集群。

最后关闭hadoop

[root@master ~]# stop-all.sh

到这里我们就可使用Hadoop了

三、zookeeper安装

1、解压安装

[root@master package]# tar -zxvf zookeeper-3.4.14.tar.gz -C /home/environment/zookeeper

在这里插入图片描述

2、配置环境

[root@master opt]# vim /etc/profile

添加以下内容：

export ZOOKEEPER_HOME="/home/environment/zookeeper/zookeeper-3.4.14/"
export PATH=.:$HADOOP_HOME/bin:$ZOOKEEPER_HOME/bin:$JAVA_HOME/bin:$PATH

在这里插入图片描述

3、配置生效

[root@master opt]# source /etc/profile

4、配置文件

（1）zoo.cfg
（文件在 ***/zookeeper-3.4.14/conf下）
因为没有zoo.cfg文件，所以复制出来一份：

[root@master conf]# cp zoo_sample.cfg zoo.cfg

然后编辑这个文件，添加以下内容：

dataDir=/home/environment/zookeeper/zookeeper-3.4.14/zookeeper_data
dataLogDir=/home/environment/zookeeper/zookeeper-3.4.14/data_log

注：这里的文件不需要自己手动创建文件，自动生成
在这里插入图片描述

5、启动测试

到bin下，进行启动

[root@master bin]# sh zkServer.sh start

我们可以看到它的模式为：standalone

[root@master bin]# sh zkServer.sh status

jps查看一下节点，有QuorumPeerMain，就证明是ok的

[root@master bin]# jps

最后sh zkServer.sh stop把它关了

[root@master bin]# sh zkServer.sh stop

在这里插入图片描述

四、安装HBASE

1、解压

[root@master ~]# tar -zxvf hbase-1.3.6-bin.tar.gz -C /home/environment/hbase

2、配置环境

[root@master opt]# vim /etc/profile

添加以下内容：

export HBASE_HOME="/home/environment/hbase/hbase-1.3.6/"
export PATH=$PATH:$HBASE_HOME/bin

在这里插入图片描述

3、配置生效

[root@master opt]# source /etc/profile

4、配置文件

（文件在 ***/hbase-1.3.6/conf/下）配置以下文件（vim 文件名 打开文件）。
在这里插入图片描述

（1）hbase-env.sh文件

添加以下内容：

export JAVA_HOME=/home/environment/Java/jdk1.8.0_311/
export HBASE_PID_DIR=/home/environment/hbase/hbase-1.3.6/pids
export HBASE_MANAGES_ZK=false

在这里插入图片描述

注：false是自己下载的zookeeper，true是hbase自带

（2）hbase-site.xml 文件

添加以下文件：

  <property>
      <name>hbase.rootdir</name>
      <value>hdfs://master:9000/hbase</value>
   	  <description> hbase.rootdir是RegionServer的共享目录，用来持久化存储HBase数据的，默认是写到/tmp的，如果不修改此配置，在HBase重启时，数据会丢失。此处一般设置的是hdfs的文件目录，比如NameNode运行在namenode.Example.org主机的9090端口，则需要设置为hdfs://namenode.example.org:9000/hbase
      </description>
  </property>
  <property>
      <name>hbase.cluster.distributed</name>
      <value>true</value>
	  <description>此项用来配置HBase的部署模式，false表示单机，true表示完全分布式模式或者伪分布式模式。
      </description>
  </property>
  <property>
      <name>hbase.tmp.dir</name>
      <value>/home/environment/hbase/hbase-1.3.6/tmp</value>
  </property>
  <property>
      <name>hbase.zookeeper.property.dataDir</name>
      <value>/home/environment/hbase/hbase-1.3.6/zk_data</value>
  </property>
  <property>  
    <name>hbase.zookeeper.quorum</name>  
    <value>master</value>
  </property>
  <property>
     <name>hbase.zookeeper.property.clientPort</name>
     <value>2181</value>
  </property>

注：不需要创建文件，它会自动给你创建文件
在这里插入图片描述

5、运行

注：确保首先运行 HDFS，如果使用自己的zookeeper也要启动

启动顺序：
Hadoop及hbase集群启动顺序hadoop->zookeeper->hbase。
既：
（1）、[root@master bin]# start-all.sh
（2）、[root@master bin]# sh zkServer.sh start
（3）、[root@master bin]# start-hbase.sh

停止顺序：
Hadoop及hbase集群关闭顺序hbase->zookeeper->Hadoop
既：
（1）、[root@master bin]# stop-hbase.sh
（2）、[root@master bin]# sh zkServer.sh stop
（3）、[root@master bin]# stop-all.sh

注：一定要到相应的目录文件去启动

[root@master ~]# cd /home/environment/hadoop/hadoop-2.7.7/bin
[root@master bin]# start-all.sh

[root@master ~]# cd /home/environment/zookeeper/zookeeper-3.4.14/bin
[root@master bin]# sh zkServer.sh start

[root@master ~]# cd /home/environment/hbase/hbase-1.3.6/bin
[root@master bin]# start-hbase.sh

在这里插入图片描述

全部启动后jps查看一下，如果有这些节点就说明没什么问题！

[root@master bin]# jps

在这里插入图片描述

五、SHELL命令

[root@master bin]# hbase shell

在这里插入图片描述

使用 create 命令创建一个新表。我们必须指定表名称和列族名称：
hbase(main):001:0> create 'test', 'cf'
Created table test
Took 1.2144 seconds
=> Hbase::Table - test
 
使用 list 命令确认表是否存在
hbase(main):002:0> list 'test'
TABLE
test
1 row(s)
Took 0.0378 seconds
 
使用 put 命令将数据放入表中：
hbase(main):005:0> put 'test', 'row1', 'cf:a', 'value1'
Took 0.1687 seconds
 
从 HBase 获取数据的一种方法是扫描。使用 scan 命令扫描表中的数据：
hbase(main):008:0> scan 'test'
ROW                                                 COLUMN+CELL
 row1                                               column=cf:a, timestamp=1570442045109, value=value1
1 row(s)
Took 0.0038 seconds

要多练习Hbase shell命令，来认识Hbase。可以从网上找Hbase shell命令来练习一下。

lou_csdn
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Hadoop、HBase、Zookeeper安装部署
04-17
Hadoop、HBase、Zookeeper安装部署
Docker hadoop zookeeper hbase 配置文件
03-13
基于Docker搭建HBase集群对应配置文件
最全Linux安装JDK1.8及Maven
GM_115的博客
09-23 2705
Linux安装Jdk 1.8，以CentOS 7安装为例，安装好CentOS 7会自带Open JDK，所以首先卸载自带的OpenJDK，安装自己的JDK版本。
头晕脑胀的一节课
weixin_45729083的博客
10-14 234
**头晕脑胀的一节课** 今天老师讲了新内容，我感觉自己好像是在听天书一般。但是笔记还是总归做一下哈。看一下如何配置环境变量 1.在安装JDK成功以后，需要在安装的平台上配置环境变量。如果在安装JDK时没有指定安装目录，则默认的安装目录在C:\Program Files(x86)\java中。 2.进入JDK 1.8.0-...
Linux系统安装jdk1.8
songy小白的博客
08-22 2834
Linux系统安装jdk1.8
Linux安装java(jdk1.8)
qq_58392257的博客
04-18 3055
简单介绍jdk的安装步骤。
基于Linux环境安装 jdk 1.8 保姆级教程
瓦罗兰特顶级C位的博客
01-06 1433
首先需要下载 linux 版本的 jdk 1.8. 需要在 Oracle 官网的 JDK 1.8 下载页面 进行下载，找到 Linux x64 Compressed Archive 对应的链接。
Linux下安装JDK1.8
qq_33838819的博客
01-05 1071
一、yum源安装 # 检查是否已经存在java相关命令 rpm -qa|grep java rpm -qa|grep jdk rpm -qa|grep gcj # 如果需要卸载 rpm -qa | grep java | xargs rpm -e --nodeps # 检索Java1.8源列表 yum list java-1.8* # 安装Java1.8 yum install java-1.8.0-openjdk* -y # 查询JAVA_HOME which java # 返回 ...
Linux环境下离线安装jdk1.8(内置最新的jdk安装包x64)
m0_52985087的博客
11-17 2774
用于在 Linux 系统上列出已安装的与 JDK（Java Development Kit）相关的 RPM 软件包。若有则采用rpm命令先删除相关jdk的软件包。所以，我们要将jdk配置到/etc/profile，才可以在任何一个目录访问jdk。输入上述命令后能够看到相应的版本信息而不是错误提示，那么说明您已经成功配置好了 Java 开发环境，并且可以在 Linux 中使用。大多数人的Linux操作系统都是64位的，因此我们就选择64位的压缩包文件，jdk1.8_381是jdk1.8的最新版本。
hadoop+hbase+zookeeper集群配置流程及文件
08-28
hadoop集群配置流程以及用到的配置文件，hadoop2.8.4、hbase2.1.0、zookeeper3.4.12
zookeeper+hadoop+hbase.rar
06-21
hadoop集群。亲测可用
hadoop+zookeeper+hbase集群搭建配置说明
06-22
数据仓库hadoop+zookeeper+hbase集群安装方法记录，自己搭建纯手写的记录。相关软件请自行下载
Linux(64位)使用安装包安装JDK1.8
zf199805的博客
05-21 3935
Linux安装JDK1.8
解决ubuntu在/etc/profile中配置环境变量后失效的问题
CSDN博客
11-05 4468
文章目录 1、配置在系统变量里的环境变量不生效了？ 2、解决一、重新加载/etc/profile 3. 解决二、设置环境变量到用户下面 3. 激活用户下的环境变量 4. 测试有效性 昨天设置了tomcat+nginx+session共享：nginx +多个tomcat实现负载均衡和session共享（完整教程，图文并茂）.1、配置在系统变量里的环境变量不生效了？ 因为之前是通过安装包安装的jdk...
Linux伪分布(离线安装Java和hadoop超详细教程，需要前面的准备配置可以参考我之前的文章)
Wydxlj_的博客
04-23 313
前面讲到了修改IP映射，我们分别做了Windows端的IP映射和虚拟机端的IP映射现在我们来搭建离线状态下的Java和hadoop环境本人是用两个我是一起进行的首先新建系统文件夹首先在software下上传两个文件的压缩包(如果没有发现software文件的话可以点刷新)如下图然后鼠标右击有一个上传，我这边上传的hadoop3.3.1和jdk8u311然后输入进入software文件夹下进行文件解压(注意目录，为了方便，一定要在software下解压)
Linux安装单机版Hadoop、使用shell脚本安装JDK和Hadoop和windows配置Hadoop环境
太白_猿的博客
02-06 1361
Linux安装单机Hadoop、使用shell脚本安装JDK和Hadoop、windows配置Hadoop环境
手把手教你在linux中部署hadoop以及hadoop功能介绍
wszhm123的博客
08-22 2228
我们在学大数据的时候hadoop是躲避不开的地方，所以如何在linux中部署hadoop，下面就是手把手教你如何部署hadoop。你只要复制粘体，然后按enter键就可以了。准备：安装Linux版本的服务器。
【保姆级教程】Linux安装JDK8
笑小枫
11-14 416
本文以centos7为例，一步一步进行jdk1.8的安装。
分布式数据库HBase入门指南
最新发布
JAZJD的博客
05-17 995
HBase是一个开源的、分布式的、面向列的NoSQL数据库，它是Apache软件基金会的Hadoop项目的一部分。HBase 旨在为海量结构化、弱结构化和非结构化数据提供高可靠性、高性能、可扩展的存储服务。它借鉴了 Google Bigtable 的设计理念，并进行了扩展，使其更加适用于大规模数据存储和处理场景。HBase 的主要特点包括:HBase 将数据分布存储在多个节点上，能够有效利用集群资源，提高数据处理能力。
hadoop zookeeper hbase 单机 docker
09-11
在使用Docker时，可以将Hadoop、Zookeeper和HBase等组件打包成容器，方便在不同环境中进行部署和管理。同时，Docker还提供了简单易用的容器管理工具，可以进行容器的快速启动、停止和扩展。 综上所述，Hadoop、...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值