hbase集群的安装、启动

最新推荐文章于 2024-06-09 15:49:54 发布
最新推荐文章于 2024-06-09 15:49:54 发布
阅读量879 收藏 4
点赞数
分类专栏： hbase 文章标签： hadoop hdfs zookeeper hbase
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_41352552/article/details/109851768
版权

HBase 存储船舶轨迹方案

背景：项目需求要存储三个月的船舶轨迹数据，并且能够根据时间段快速查询单艘船的轨迹数据。船舶数据4~5万，5分钟记录一次轨迹。

hbase集群的安装

hbase 集群架构
在这里插入图片描述
前期准备 --去对应的官网下载即可
|软件|版本 |

软件版本
虚拟机centos7
jdk1.8
HBase1.6.0
zookeeper3.5.8
hadoop3.1.4

1、配置hostname和hosts

1、分别修改三虚拟机 vim /etc/hosts，添加以下内容

192.168.138.129 master
192.168.138.128 slave1
192.168.138.127 slave2

2、执行 systemctl restart network 使配置生效

2、master、slave1、slave2之间配置相互免密码登录

1、在master、slave1、slave2中执行

vim /etc/ssh/sshd_config

将 PubkeyAuthentication yes 打开
在这里插入图片描述
2、分别在master、slave1、slave2上执行命令ssh-keygen -t rsa，一路回车下去，最终会在/root/.ssh目录下生成rsa文件，如下图：
在这里插入图片描述
3、在master上执行如下三行命令，执行完毕后，三个容器的rsa公钥都存在/root/.ssh/authorized_keys文件中了：

cat ~/.ssh/id_rsa.pub>> ~/.ssh/authorized_keys
ssh root@slave1 cat ~/.ssh/id_rsa.pub>> ~/.ssh/authorized_keys
ssh root@slave2 cat ~/.ssh/id_rsa.pub>> ~/.ssh/authorized_keys

输入密码。输入master root的密码（当前用户密码）
4、 分别在slave1、slave2上执行以下命令，将master上的authorized_keys文件复制过来：

ssh root@master cat ~/.ssh/authorized_keys>> ~/.ssh/authorized_keys

3、安装、启动zookeeper集群

1、在master创建目录
执行

mkdir -p /usr/local/zk/data

2、在master 上执行

     1、cd /usr/local/zk 
	 2、wget https://mirror.bit.edu.cn/apache/zookeeper/zookeeper-3.5.8/apache-zookeeper-3.5.8-bin.tar.gz
	 3、tar -zvf apache-zookeeper-3.5.8-bin.tar.gz 
	 4、mv apache-zookeeper-3.5.8-bin zk35

3、用WinScp修改配置文件(也可以用
vim /usr/local/zk/zk35/conf/zoo.cfg)，如图所示
在这里插入图片描述
4、将zk文件夹复制到slave1 和slave2中

scp -P 22 -r /usr/local/zk root@slave1:/usr/local
scp -P 22 -r /usr/local/zk root@slave2:/usr/local

5、创建myid文件

master 执行 echo '1'>> /usr/loacal/zk/zkdata/
slave1执行 echo '2'>> /usr/loacal/zk/zkdata/
slave2 执行 echo '3'>> /usr/loacal/zk/zkdata/

6、启动zookeeper集群，在master、slave1、slave2上执行

cd /usr/local/zk/zk35/bin
./zkServer.sh start

6、查看是否正常启动，看到控制台打印


Starting zookeeper .... STAERED
#查看进程
jps

在这里插入图片描述

即启动成功！‘

4、安装、启动 hadoop集群

1、在master上创建目录,执行以下命令

#创建dfs目录
mkdir -p /usr/local/hadoop/dfs/data  
mkdir -p /usr/local/hadoop/dfs/name  
#创建hadoop临时目录和进程目录
mkdir -p /usr/local/hadoop/hdtemp/pids 
#下载hadoop
cd /usr/local/hadoop
wget https://mirror.bit.edu.cn/apache/hadoop/common/hadoop-3.1.4/hadoop-3.1.4-src.tar.gz
#解压和重命名
 tar -zvf hadoop-3.1.4-src.tar.gz
 mv hadoop-3.1.4-src.tar.gz hd31

2、修改配置文件

#修改hadoop-env.sh、yarn-env.sh配置文件
vim /usr/local/hadoop/hdp31/etc/hadoop/hadoop-env.sh
vim /usr/local/hadoop/hdp31/etc/hadoop/yarn-env.sh
#最前面添加自己的JAVA_HOME路径
export JAVA_HOME=/usr/java/jdk1.8.0_144

#修改core-site.xml配置文件
vim /usr/local/hadoop/hdp31/etc/hadoop/core-site.xml
#添加配置
<configuration>
 <property> 
  <name>fs.defaultFS</name>
  <value>hdfs://master:9000</value> 
 </property> 
 <property> 
  <name>hadoop.tmp.dir</name>
  <value>/usr/local/hadoop/hdtemp</value> 
 </property>
</configuration>

#修改hdfs-site.xml文件
vim /usr/local/hadoop/hdp31/etc/hadoop/hdfs-site.xml
#添加以下配置
<configuration>
 <property> 
  <name>dfs.namenode.name.dir</name> 
  <value>/usr/local/hadoop/dfs/name</value> 
 </property> 
 <property>
  <name>dfs.datanode.data.dir</name>
  <value>/usr/local/hadoop/dfs/data</value> 
 </property> 
 <property>
  <name>dfs.replication</name>
  <value>1</value> 
 </property>
 <property> 
  <name>dfs.namenode.secondary.http-address</name> 
  <value>master:9001</value> 
 </property>  
 <property>
  <name>dfs.webhdfs.enabled</name>
  <value>true</value> 
 </property> 
</configuration>

#修改mapred-site.xml文件
vim /usr/local/hadoop/hdp31/etc/hadoop/mapred-site.xml
#添加以下配置
<configuration>
 <property>
  <name>mapreduce.framework.name</name> 
  <value>yarn</value> 
 </property> 
 <property>
  <name>mapreduce.jobhistory.address</name> 
  <value>master:10020</value> 
 </property> 
 <property> 
  <name>mapreduce.jobhistory.webapp.address</name> 
  <value>master:19888</value> 
 </property> 
</configuration>

#修改yarn-site.xml文件
vim /usr/local/hadoop/hdp31/etc/hadoop/yarn-site.xml
#添加以下配置
<configuration>
 <property>
  <name>yarn.nodemanager.aux-services</name> 
  <value>mapreduce_shuffle</value> 
 </property> 
 <property> 
  <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name> 
  <value>org.apache.hadoop.mapred.ShuffleHandler</value> 
 </property> 
 <property>
  <name>yarn.resourcemanager.address</name> 
  <value>master:8032</value> 
 </property> 
 <property>  
  <name>yarn.resourcemanager.scheduler.address</name> 
  <value>master:8030</value> 
 </property> 
 <property>
  <name>yarn.resourcemanager.resource-tracker.address</name>  
  <value>master:8031</value> 
 </property> 
 <property>
  <name>yarn.resourcemanager.admin.address</name>   
  <value>master:8033</value> 
 </property> 
 <property> 
  <name>yarn.resourcemanager.webapp.address</name> 
  <value>master:8088</value> 
 </property>
</configuration>

#打开workers文件（也就是以前版本的slaves文件）添加集群备节点
slave1
slave2

3、master上的hadoop包复制到slave1和slave2中

scp -P 22 -r /usr/local/hadoop root@slave1:/usr/local
scp -P 22 -r /usr/local/hadoop root@slave2:/usr/local

注意：hadoop-env.sh和yarn-env.sh 中的JAVA_HOME 要修改为相对应的java路径

4、配置环境变量

# 修改配置文件
vim /etc/profile
#添加以下配置
export HADOOP_HOME=/usr/local/hadoop/hdp31
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HIVE_HOME/bin:
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib/native"

# 使配置文件生效
source /etc/profile

5、启动hadoop 集群，在master、slave1、slave2

# 格式化hadoop 
执行 
cd /usr/local/hadoop/hdp31/bin
./hdfs namenode -format
#启动hadoop
cd /usr/local/hadoop/hdp31/sbin
./start-all.sh
#查看进程是否正常启动
jps

在这里插入图片描述

5、安装、启动hbase集群

1、在master上创建目录,执行以下命令

# 创建目录
mkdir -p /usr/local/hadoop/hbase 
cd /usr/local/hadoop/hbase
# 下载hbase
wget https://mirror.bit.edu.cn/apache/hbase/1.6.0/hbase-1.6.0-bin.tar.gz
#解压和重命名
 tar -zvf hbase-1.6.0-bin.tar.gz
 mv hbase-1.6.0-bin.tar.gz hb16

2、修改配置文件

# 修改hbase-site.xml 文件
cd /usr/local/hbase/hb16/conf
vim hbase-site.xml
# 添加以下配置
<configuration>
<property>
   <name>hbase.rootdir</name>
   <value>hdfs://master:9000/hbase</value>
   <description>The directory shared by region servers.</description>
 </property>

 <property>
   <name>hbase.hregion.max.filesize</name>
   <value>1073741824</value>
   <description>
   Maximum HStoreFile size. If any one of a column families' HStoreFiles has
   grown to exceed this value, the hosting HRegion is split in two.
   Default: 256M.
   </description>
 </property>

 <property>
   <name>hbase.hregion.memstore.flush.size</name>
   <value>1073741824</value>
   <description>
   Memstore will be flushed to disk if size of the memstore
   exceeds this number of bytes.  Value is checked by a thread that runs
   every hbase.server.thread.wakefrequency.
   </description>
 </property>

 <property>
   <name>hbase.cluster.distributed</name>
   <value>true</value>
   <description>The mode the cluster will be in. Possible values are
     false: standalone and pseudo-distributed setups with managed Zookeeper
     true: fully-distributed with unmanaged Zookeeper Quorum (see hbase-env.sh)
   </description>
 </property>

 <property>
     <name>hbase.zookeeper.property.clientPort</name>
     <value>2181</value>
     <description>Property from ZooKeeper's config zoo.cfg.
     The port at which the clients will connect.
     </description>
 </property>

 <property>
   <name>zookeeper.session.timeout</name>
   <value>120000</value>
 </property>

 <property>
   <name>hbase.zookeeper.property.tickTime</name>
   <value>6000</value>
 </property>
   <property>
     <name>hbase.zookeeper.quorum</name>
     <value>master,slave1,slave2</value>
</property>
<property>
       <name>hbase.unsafe.stream.capability.enforce</name>
        <value>false</value>
</property>
</configuration>

# 修改 regionservers 文件
cd /usr/local/hbase/hb16/conf
vim regionservers
# 添加以下配置
master
slave1
slave2

# 修改hbase-env.sh 文件
cd /usr/local/hbase/hb16/conf
vim hbase-env.sh
# 找到 export JAVA_HOME 添加自己的环境变量
export JAVA_HOME=/usr/lib/jvm/java-1.8.0

3、master上的hbase包复制到slave1和slave2中

scp -P 22 -r /usr/local/hbase root@slave1:/usr/local
scp -P 22 -r /usr/local/hbase root@slave2:/usr/local

注意：hbase-env.sh 中的JAVA_HOME 要修改为相对应的java路径

4、配置环境变量

# 修改配置文件
vim /etc/profile
#添加以下配置
export HBASE_HOME=/usr/local/hbase/hb16
export PATH=$HBASE_HOME/bin:$PATH
# 使配置文件生效
source /etc/profile

5、启动hbase集群 在master、slave1、slave2

# 执行
cd /usr/local/hbase/hb16/bin
start-hbase.sh
# 查看进程
jps

在这里插入图片描述
6、查看hbase 程序的监控页面

访问 http://129.168.138.129:16010/master-status

在这里插入图片描述
参考链接：
链接: https://blog.csdn.net/boling_cavalry/article/details/78041811.

码农~三少
关注
  • 0
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
hbase集群安装
codestinity fight for
11-08 4356
hbase需要在hadoop安装成功的基础上来进行，现在我们的机器安装好了hadoop hadoop安装：http://blog.csdn.net/codestinity/article/details/6936654 首先安装zookeeper，注意下载的zookeeper版本需要与hadoop版本相对应（同样的，只需要在namenode端进行配置，配置好后发给datanode端即可）：
hbase-1.6.0-bin.tar.gz
10-17
HBase1.6.0安装包
Hbase 操作命令
m0_72168501的博客
10-28 1万+
Hbase的操作命令，包括基础命令，数据读取，和API操作
大数据----31.hbase安装启动
u014579001的博客
12-12 1392
http://archive.apache.org/dist/hbase/ 下载地址。8. 通过web来访问：http://192.168.64.160:16010/（在一台机器上进行配置；注意：在启动之前需要进行时间的统一；（我们使用的是和主节点的时间同步；3.解压软件：解压到/usr/local/ 文件夹 （在一台机器上）2.启动hbase(在hadoop06上执行) 在主机上启动即可；需要修改的内容：（分别开启他的注释修改内容即可；6.进行hbase的配置文件的修改操作：修改文件。
HBase安装，配置，启动，检查
weixin_74292291的博客
03-08 2293
HBase安装，配置，启动，安装检验 (进程查看，web UI界面，客户端交互)
配置文件
weixin_30497527的博客
05-11 90
<property> <name>hbase.rootdir</name> <value>hdfs://t1.dky.com:54310/hbase</value> <description>The directory shared by RegionServers.</descrip...
HBase集群搭建
10-25
HBase集群搭建 HBase是一种分布式、面向列的NoSQL数据库，基于Hadoop...HBase集群搭建需要安装HBase、配置HBase环境变量、配置hbase-env.sh文件、配置hbase-site.xml文件、配置regionservers文件和设置HBase环境变量。
Hbase2.2.0集群部署.docx
09-14
Hbase2.2.0集群部署需要配置环境变量、配置Hbase配置文件、启动Hbase集群、使用Hbase Shell和Hbase DDL/DML语言等步骤。通过这些步骤，我们可以成功部署Hbase2.2.0集群，并使用Hbase Shell和Hbase DDL/DML语言来管理...
hbase安装，节点添加，移除，常见问题解决
07-30
hadoop-2.52-hbase-0.14-hadoop2 ha高可用安装，hbase动态添加删除节点，hbase集群正常状态及启动，hbase 问题汇总
hadoop+HBase+Kylin集群启动停止命令.txt
08-08
hadoop+HBase+Kylin集群启动停止命令
HBase的安装与配置
11-24
4、配置hbase集群，要修改3个文件（首先zk集群已经安装好了） 5、修改hbase-env.sh export JAVA_HOME=/usr/java/jdk1.7.0_xxx (1)、告诉hbase使用外部的zk export HBASE_MANAGES_ZK=false 6、修改vim ...
HBase集群的安装及其开启
qq_40870024的博客
11-12 742
HBase集群的安装和配置 //详见安装文档, 注意: 在搭建HBase集群之前, 先把你的集群还原到教育项目之前的状态. 1. 上传. 拖拽 hbase-2.1.0.tar.gz 到 Linux系统的 /export/software 下 2. 解压 tar -zxvf hbase-2.1.0.tar.gz -C /export/server/ 3. 修改配置文件. cd /export/server/hbase-2.1.0/conf vim hbase-env.sh export JAV
Hbase配置与启动
热门推荐
weixin_43319946的博客
06-25 1万+
一、前置条件 hadoop已经完成配置，可以使用hadoop version命令查看 #hadoop version命令查看 hadoop version 二、Hbase配置 1、ZooKeeper和Hbase下载解压 这里博主是在windows上下载，然后利用puty传到Linux虚拟机的节点的方式，当然你也可以直接在虚拟机上使用wget命令直接下载解压使用 1.在Windows下载 注意：这里使用浏览器访问好像不能下载，可以使用迅雷下载 下载ZooKeeper-3.4.14 http://m
服务器最全安装、配置、启动HBase集群
hellowangxiansheng的博客
04-10 953
（6）将master节点的 /opt/hbase-1.3.1 文件和 /etc/profile 文件拷贝到slave1的相同路径下。（7）将master节点的 /opt/hbase-1.3.1 文件和 /etc/profile 文件拷贝到slave2的相同路径下。切换到 HBase 的配置文件目录下，这里配置文件的目录为/opt/hbase-1.3.1/conf/切换到hbase的安装目录的bin目录下，即/opt/hbase-1.3.1/bin。执行start-hbase.sh命令，启动hbase。
HBase 集群部署与启动
my_study_notes的博客
10-03 2895
HBase 集群部署与启动
HBase启动步骤
data_curd的博客
04-20 8837
在启动hbase时，要提前确保HDFS和zookeeper是已经启动状态， 先用jps，查询全部启动的进程 [root@node01 ~]# jps 2816 DataNode 6642 RunJar 3074 ResourceManager 2677 NameNode 6454 RunJar 5992 HRegionServer 5833 HMaster 2169 -- process in...
关于hadoop、hive、zookeeper、hbase启动命令
BigData_C的博客
04-05 2597
1.hadoop：首先要进入到hadoop的目录下，执行sh.sbin/start-dfs.sh命令启动dfs 执行sh.sbin/start-yarn.sh命令启动yarn集群。 启动完成后利用jps命令查看节点。 2.zookeeper：也要进入到该目下下，执行sh bin/zkServer.sh start命令启动zookeeper 3.hbase：进入到该目录下，执行sh bin/start-hbase.sh命令进行启动hbase。 关闭集群时，把start换成stop即可相应关闭。 ..
C# WPF入门学习主线篇（十五）—— DockPanel布局容器
最新发布
weixin_56595425的博客
06-09 1015
在《C# WPF入门学习主线篇（十五）—— DockPanel布局容器》这篇文章中，我们详细介绍了WPF中的 `DockPanel` 布局容器。本文涵盖了 `DockPanel` 的基本概念、常见属性及使用方法，并通过具体的示例代码展示了如何实现控件的固定位置排列。此外，还讨论了 `DockPanel` 布局容器的优缺点，帮助读者在实际开发中做出更好的布局选择。
hbase集群启动后会有哪些进程
05-16
在HBase集群启动后，会有以下进程： 1. HMaster进程：HBase集群的管理进程，负责管理RegionServer、ZooKeeper以及集群元数据等。 2. RegionServer进程：负责管理数据的读写操作，每个RegionServer负责管理多个...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值