hbase2.2.3安装记录

Hbase 安装配置记录:

1. 下载

Hbase官网: https://hbase.apache.org/downloads.html

这里使用2.2.3版本:下载至 /opt 下

wget http://mirror.bit.edu.cn/apache/hbase/2.2.3/hbase-2.2.3-bin.tar.gz

wget http://mirrors.tuna.tsinghua.edu.cn/apache/hbase/2.2.3/hbase-2.2.3-bin.tar.gz

2. 解压:

tar -zxvf hbase-2.2.3-bin.tar.gz

解压之后压缩包 可以选择删除

rm -r hbase-2.2.3-bin.tar.gz

3. 重命名:

mv hbase-2.2.3 hbase

4. 配置

进入该目录下的conf目录:

cd /opt/hbase/conf
4.1 vi hbase-env.shhbase-env.sh中添加:
export JAVA_HOME=/usr/local/java/jdk1.8.0_202
export HBASE_MANAGES_ZK=false
4.2 vi hbase-site.xml 编辑 hbase-site.xml

<configuration> </configuration>之间 添加如下代码:
master,slave0,slave1为三台主机名(改为自己的就行)

<property>
 <name>hbase.zookeeper.quorum</name>
 <value>master,slave0,slave1</value>
 <description>The directory shared by RegionServers.
 </description>
</property>

 <property>
  <name>hbase.rootdir</name>
  <value>hdfs://master:9000/hbase</value>
  <description>The directory shared by RegionServers.
  </description>
 </property>

 <property>
  <name>hbase.cluster.distributed</name>
  <value>true</value>
  <description>The mode the cluster will be in. Possible values are
   false: standalone and pseudo-distributed setups with managed Zookeeper
   true: fully-distributed with unmanaged Zookeeper Quorum (see hbase-env.sh)
  </description>
 </property>

 <property>
	<name>hbase.master.info.port</name>
	<value>60010</value>
</property>

hbase.zookeeper.quorum为zookeeper的节点主机名,

hbase.rootdir为hbase的存储根目录,设为hadoopHDFS根目录下的hbase

4.3 修改regionservers
vi /opt/hbase/conf/regionservers

配置内容:

删除:localhost

添加:

slave0
slave1
4.4 各个主机之间复制hbase
scp -r /opt/hbase slave0:/opt/
scp -r /opt/hbase slave1:/opt/
4.5 让配置生效
source ~/.bash_profile
4.6 切换到hbase的bin目录下

启动hbase

./start-hbase.sh
4.7 启动hbase shell客户端 bin目录下:
./hbase shell
  • 3
    点赞
  • 7
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
代码如下: ``` import java.nio.charset.StandardCharsets import org.apache.flink.streaming.connectors.hbase._ import org.apache.flink.streaming.connectors.kafka.FlinkKafkaConsumer import org.apache.flink.api.scala._ import org.apache.flink.streaming.api.scala.{DataStream, StreamExecutionEnvironment} import org.apache.flink.streaming.util.serialization.SimpleStringSchema import org.apache.hadoop.hbase.{HBaseConfiguration, TableName} import org.apache.hadoop.hbase.client.Put import org.apache.hadoop.hbase.util.Bytes import org.apache.hadoop.hbase.client.ConnectionFactory case class KafkaData(key: String, value: String) object FlinkKafkaHbase { def main(args: Array[String]): Unit = { val env = StreamExecutionEnvironment.getExecutionEnvironment val kafkaProperties = new java.util.Properties() kafkaProperties.setProperty("bootstrap.servers", "localhost:9092") kafkaProperties.setProperty("group.id", "flink_group") val kafkaConsumer = new FlinkKafkaConsumer[String]("topic", new SimpleStringSchema(), kafkaProperties) val kafkaStream: DataStream[String] = env.addSource(kafkaConsumer) // Parse kafka data into case class val kafkaData: DataStream[KafkaData] = kafkaStream.map(s => { val values = s.split(",") KafkaData(values(0), values(1)) }) // Write kafka data into HBase val conf = HBaseConfiguration.create() conf.set("hbase.zookeeper.quorum", "localhost") val tableName = "kafka_table" val hbaseSink = new HBaseSinkFunction[KafkaData](tableName, (kafkaData: KafkaData) => { val put = new Put(Bytes.toBytes(kafkaData.key)) put.addColumn(Bytes.toBytes("cf"), Bytes.toBytes("value"), kafkaData.value.getBytes(StandardCharsets.UTF_8)) put }, conf) kafkaData.addSink(hbaseSink) env.execute("Flink Kafka HBase Demo") } } ``` 注意:在运行此代码之前,您需要先部署并配置好Kafka和HBase,特别是在HBase中创建一个名为“kafka_table”的表,且包含一个名为“cf”的列族,以及定义一个名为“value”的列。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值