Hbase总结02_安装

最新推荐文章于 2022-04-18 21:00:59 发布

自由地带

最新推荐文章于 2022-04-18 21:00:59 发布

阅读量411

点赞数

分类专栏： hbase 文章标签： Hbase 安装

本文链接：https://blog.csdn.net/tyf2007635/article/details/99081206

版权

hbase 专栏收录该内容

6 篇文章 0 订阅

订阅专栏

运行模式

单机模式

Hbase默认的运行模式，Hbase使用本地存储模式，同时Hbase在启动时内部包含的zookeeper，建议在初学Hbase，熟悉API和Shell命令时使用，具体配置参下面的快速安装。

分布式模式

包含两种模式，伪分布式和完全分布式，差别在于前者将所有进程都运行在一个服务器上，后者在每个节点上只运行一个进程。

伪分布式推荐在开发测试时使用。

快速安装（单机模式）

安装前提是在系统中已经安装好jdk环境。
1 解压 HBase 到指定目录
  $ tar -zxvf hbase-1.3.1-bin.tar.gz -C /opt/
2 修改配置文件，位于解压目录下 conf下面
1）在hbase-env.sh文件中添加下列内容
    export JAVA_HOME=/opt/jdk目录
2）hbase-site.xml 修改内容，配置数据的存储方式
<configuration>
  <property>
    <name>hbase.rootdir</name>
    <value>file:///自定义位置/hbase</value> #本地存储模式
  </property>
</configuration>
3 启动Hbase
1）进入bin目录，执行启动脚本： start-hbase.sh
2）验证，在bin目录下执行命令：   hbase shell
3）出现交互窗口，使用命令 status 查看状态，如下图表示启动成功

分布式模式

硬件条件

1 服务器
不同配置的服务器满足不同需求，可以根据自身资源具体分配，下面给出推荐配置
  cpu：大于4核心
  内存： master -- 24G， slave -- 24G+
  磁盘：master -- 4X1T SATA, RAID 0+1 (也可以用2T)，  slave -- 6X1T SATA, JBOD
2 网路
  万兆以太网，双PSU, 1U 或者2U

软件条件

1 操作系统：  64位的 centos6 | 7 、Debian、Ubuntu、RadHat
2 文件系统：  ext4 或 XFS
3 JDK环境
4 Hadoop
5 配置SSH连接
6 为服务器设置域名
7 同步时间：集群内部各节点时间必须一致，可使用NTP服务
8 文件句柄和进程限制：用 ulimit -a 查看句柄数，在/ect/security/limit.conf中修改
9 DataNode处理线程数量：如果使用hdfs做数据存储，需要修改DataNode配置，在hadoop的hdfs-site.xml设置xcievers，自少为4096
   <property>
   <name>dfs.datanode.max.xcievers</name>
   <value>4096</value>
   </property>
10 交换区：在 /ect/sysctl.conf 添加  vm.swappiness=0 或 5 ，重启服务器生效，使用 sysctl -p  查看。

文件系统

Hbase可以使用多种文件系统存储数据，包括本地模式，Hdfs模式

本地模式

本地模式将数据直接存储在本地磁盘当中，具体配置方式可以单机模式中修改 hbase-site.xml方式

Hdfs

推荐的配置方式，将数据存储在Hdfs中，具体配置方式下面会列出。

安装

安装前先配置好jdk基础环境，再部署zookeeper和hadoop，安装过程依次修改下列文件：
1 hbase-site.xml
系统启动后会先读取hbase-default.xml文件，再读取hbase-site.xml，需要将自定义的属性加入hbase-site.xml中，如果需要修改Hdfs的相关配置，可以将属性值添加到hbase-site.xml中，或者将hdfs-site.xml文件以符号连接方式加入到 hbase的conf目录下
2 hbase-env.sh
在脚本中配置与jdk相关内容，包括JAVA_HOME，内存配置等
3 regionserver
列出所有regionserver的主机名，一行一个主机名方式
4 log4.properties
配置日志级别

配置实例

下面以完全分布式为例，伪分布式即将各个域名写成一个即可
1 解压 HBase 到指定目录
$ tar -zxvf hbase-1.3.1-bin.tar.gz -C /opt/module
2 HBase 配置文件
1）hbase-env.sh 修改内容：
export JAVA_HOME=/opt/module/jdk1.8.0_144
export HBASE_MANAGES_ZK=false
2）hbase-site.xml 修改内容：
   <configuration>
       <property>
           <name>hbase.rootdir</name>
           <value>hdfs://hadoop2:9000/hbase</value> #采用Hdfs存储数据模式，红字为hadoop连接地址，根据实际修改
       </property>
       <property>
           <name>hbase.cluster.distributed</name>
           <value>true</value>
       </property>
       
       <property>
           <name>hbase.master.port</name>
           <value>16000</value>
       </property>
       <property>
           <name>hbase.zookeeper.quorum</name>
           <value>hadoop2:2181,hadoop3:2181,hadoop4:2181</value> #为zookeeper连接地址，此处配置3台zookeeper
       </property>
       <property>
           <name>hbase.zookeeper.property.dataDir</name>
           <value>/opt/module/zookeeper-3.4.10/zkData</value>
       </property>
   </configuration>
3）regionservers：
   hadoop2
   hadoop3
   hadoop4
4）软连接 hadoop 配置文件到 hbase：
$ ln -s /opt/module/hadoop-2.7.2/etc/hadoop/core-site.xml /opt/module/hbase/conf/core-site.xml
$ ln -s /opt/module/hadoop-2.7.2/etc/hadoop/hdfs-site.xml /opt/module/hbase/conf/hdfs-site.xml
3 HBase 远程发送到其他集群
启动
1．启动方式 1
  $ bin/hbase-daemon.sh start master
  $ bin/hbase-daemon.sh start regionserver
2．启动方式 2
  $ bin/start-hbase.sh #执行的节点即为master节点
查看 HBase 页面
启动成功后，可以通过“host:port”的方式来访问 HBase 管理页面，例如：
http://hadoop2:16010