hadoop hbase分布式安装配置

   本案例是在centos6.5上安装好hadoop2.6.4集群环境基础上进行的Hbase1.2.6分布式安装,hadoop分布式安装请参考《Apache Hadoop 分布式集群环境安装配置详细步骤

 

解压安装:

在Master机器上进行操作:

进入文件所在目录:     #    cd /home/hadoop/下载

#    tar -zxf hbase-1.2.6-bin.tar.gz -C /usr/local       #解压并复制到目录

#    mv /usr/local/hbase-1.2.6 /usr/local/hbase        #更改文件夹名称

为用户给文件夹赋值:  #    cd /usr/local

#    chown -R Hadoop ./hbase

 

配置环境变量:

#    vi ~/.bashrc

如果没有引入过PATH,则添加:

#    export PATH=$PATH:/usr/local/hbase/bin

如果引入过,则追加:

 

重新加载文件:      #    source ~/.bashrc

版本验证: #    /usr/local/hbase/bin/hbase version

 

 

Hbase配置:

#    vi /usr/local/hbase/conf/hbase-env.sh (分布式安装一般用重新安装的zookeeper,不用自带的)

 

#    vi /usr/local/hbase/conf/regionservers

去掉localhost,添加Master、Slave1、Slave2

复制 hbase-default.xml 为 hbase-site.xml 并修改配置

 

关于优化(可略过)修改Hadoop hdfs-site.xml

注意其它的datanode也要进行修改

添加如下内容:

<property>

<name>dfs.datanode.max.xcievers</name>

<value>4096</value>

</property>

原因:

该参数限制了datanode所允许同时执行的发送和接受任务的数量,缺省为256,hadoop-defaults.xml中通常不设置这个参数。这个限制看来实际有些偏小,高负载下,DFSClient在put数据的时候会报could not read from stream的Exception

 

保存后把hbase分发到其他节点相应位置:

# scp –r /usr/local/hbase root@Slave1:/usr/local/

# scp –r /usr/local/hbase root@Slave2:/usr/local/

 

启动:hbase是基于hadoop,

启动zookeeper——启动hadoop——启动hbase

# start-hbase.sh

 

包冲突问题:

解决后重启启动,进入shell

 

至此,基于hadoop的hbase分布式安装完成…

  • 2
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
HBase 是一个基于 Hadoop分布式数据库,可以用于存储和处理大规模数据。下面是 HBase 分布式安装配置的步骤: ## 环境准备 在开始安装之前,需要确保以下环境已经准备好: - Hadoop 集群已经安装配置好 - ZooKeeper 集群已经安装配置好 - Java 环境已经安装配置好 ## 下载和安装 HBase 1. 下载 HBase 安装包: ```shell wget https://mirrors.tuna.tsinghua.edu.cn/apache/hbase/2.4.5/hbase-2.4.5-bin.tar.gz ``` 2. 解压安装包: ```shell tar -zxvf hbase-2.4.5-bin.tar.gz ``` 3. 将解压后的文件夹移动到 Hadoop 安装目录下: ```shell mv hbase-2.4.5 /usr/local/hadoop/ ``` ## 配置 HBase 1. 打开 HBase 配置文件: ```shell cd /usr/local/hadoop/hbase-2.4.5/conf cp hbase-site.xml hbase-site.xml.bak vi hbase-site.xml ``` 2. 在 hbase-site.xml 文件中添加以下配置: ```xml <configuration> <property> <name>hbase.rootdir</name> <value>hdfs://namenode:9000/hbase</value> </property> <property> <name>hbase.cluster.distributed</name> <value>true</value> </property> <property> <name>hbase.zookeeper.quorum</name> <value>zk1:2181,zk2:2181,zk3:2181</value> </property> </configuration> ``` 其中,hbase.rootdir 指定 HBase 在 HDFS 上的根目录;hbase.cluster.distributed 表示 HBase 集群是分布式的;hbase.zookeeper.quorum 指定 ZooKeeper 集群的地址。 3. 打开 HBase 环境变量文件: ```shell vi /etc/profile.d/hbase.sh ``` 4. 在 hbase.sh 文件中添加以下配置: ```shell export HBASE_HOME=/usr/local/hadoop/hbase-2.4.5 export PATH=$PATH:$HBASE_HOME/bin ``` 5. 使环境变量生效: ```shell source /etc/profile.d/hbase.sh ``` ## 启动 HBase 1. 启动 HBase: ```shell start-hbase.sh ``` 2. 验证 HBase 是否启动成功: ```shell jps ``` 如果成功启动,将看到类似以下输出: ``` 23320 HMaster 23545 HRegionServer 23399 HQuorumPeer ``` ## 测试 HBase 1. 进入 HBase shell: ```shell hbase shell ``` 2. 创建一个表: ```shell create 'test', 'cf' ``` 3. 插入一条数据: ```shell put 'test', 'row1', 'cf:a', 'value1' ``` 4. 查询数据: ```shell get 'test', 'row1' ``` 如果成功插入并查询数据,将看到类似以下输出: ``` COLUMN CELL cf:a value1 ``` 至此,HBase 分布式安装配置完成。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值