CC00044.bdpositions——|Hadoop&实时数仓.V24|——|项目.v24|需求二：数据处理&增量统计.V2|——|编程实现|

yanqi_vip

已于 2022-04-16 17:05:28 修改

阅读量65

点赞数

分类专栏： bigdatav026——EB实时数仓文章标签： hadoop 大数据 hdfs kafka sqoop

于 2022-04-15 15:04:00 首次发布

不予转载

本文链接：https://blog.csdn.net/yanqi_vip/article/details/124207610

版权

该博客介绍了如何利用Scala编程实现两个工具类，分别用于连接HBase数据库（ConnHBase）和从Kafka源获取数据（SourceKafka）。这两个工具类在订单交易处理场景中，可以每5分钟统计过去1小时内的城市/省份交易总金额和订单总数。CityOrder和TradeOrder案例类展示了数据模型，为数据分析提供基础。

摘要由CSDN通过智能技术生成

一、编程实现：工具类：每隔5分钟统计最近1小时内的订单交易情况显示城市/省份/交易总金额/订单总数

### --- 编程实现：工具类一：ConnHBase

package myutils

import org.apache.hadoop.conf.Configuration
import org.apache.hadoop.hbase.{HBaseConfiguration, HConstants}
import org.apache.hadoop.hbase.client.{Connection, ConnectionFactory}

class ConnHBase {
  def connToHbase:Connection ={
    val conf : Configuration = HBaseConfiguration.create()
    conf.set("hbase.zookeeper.quorum","hadoop01,hadoop02,hadoop03")
    //    conf.set("hbase.zookeeper.quorum","hadoop01,hadoop02,hadoop03")
    conf.set("hbase.zookeeper.property.clientPort","2181")
    conf.setInt(HConstants.HBASE_CLIENT_OPERATION_TIMEOUT,30000)
    conf.setInt(HConstants.HBASE_CLIENT_SCANNER_TIMEOUT_PERIOD,30000)
    val connection = ConnectionFactory.createConnection(conf)
    c