hbase-01

1 进入hbase
hbase shell
2 查看都有哪些表
hbase(main):003:0> list
3查看表结构
describe ‘表名’
4往表里写数据
put “表名”,“row_key”,“列簇名:列名”,“列值”

可以这样理解每条数据的结构,这里的每条数据对应oracle 或 mysql表的一条记录

rowkey 列簇
列1 列2 … … 列n

结合这样大家就不难理解为什么put 语句要那么写了,只有这样才能准确定位到具体某个列。
5 查询表里所有的数据 scan ‘表名’
6 查询某行 get “表名”,“rowkey”

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
您可以使用Apache HBase Connector for Apache Spark来读取HBase中的数据。首先,您需要在Spark应用程序中添加相关的依赖项。在Maven项目中,您可以添加以下依赖项: ```xml <dependency> <groupId>org.apache.hbase</groupId> <artifactId>hbase-spark</artifactId> <version>2.4.7</version> </dependency> ``` 接下来,您可以使用以下代码来读取HBase中的数据: ```scala import org.apache.hadoop.hbase.{HBaseConfiguration, HConstants} import org.apache.hadoop.hbase.spark.HBaseContext import org.apache.spark.SparkConf import org.apache.spark.sql.SparkSession object HBaseReader { def main(args: Array[String]): Unit = { val sparkConf = new SparkConf().setAppName("HBase Reader") val spark = SparkSession.builder().config(sparkConf).getOrCreate() val hbaseConf = HBaseConfiguration.create() hbaseConf.set(HConstants.ZOOKEEPER_QUORUM, "your_zookeeper_quorum") // 设置其他HBase配置 val hbaseContext = new HBaseContext(spark.sparkContext, hbaseConf) val tableName = "your_table_name" val columnFamily = "your_column_family" val columnName = "info:date" val hbaseRDD = hbaseContext.hbaseRDD(tableName, scan => { // 设置扫描器以获取特定日期的数据 scan.addColumn(columnFamily.getBytes, columnName.getBytes) scan.setStartRow("2023-07-01".getBytes) scan.setStopRow("2023-07-02".getBytes) scan }) // 将HBase RDD转换为DataFrame或其他需要的数据结构 val dataFrame = spark.createDataFrame(hbaseRDD.map(_._2)) // 进行进一步的数据处理或分析 dataFrame.show() spark.stop() } } ``` 在上述代码中,您需要替换以下内容: - `your_zookeeper_quorum`:HBase的Zookeeper quorum地址。 - `your_table_name`:要读取的HBase表名。 - `your_column_family`:包含要读取的列的列族名。 - `info:date`:要读取的列名。 - `scan.setStartRow`和`scan.setStopRow`:设置扫描器以获取特定日期的数据。 请确保您的Spark应用程序能够连接到HBase,并且具有适当的权限来读取数据。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值