用户画像——标签模型开发之自定义外部数据源

已于 2024-05-18 22:15:15 修改
阅读量515 收藏 13
点赞数 25
文章标签： scala 大数据
于 2024-05-15 22:01:15 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_63260646/article/details/138921364
版权

目录

1.概述：

2.External DataSource

2.1BaseRelation

2.2.RelationProvider

2.3自定义HBaseRelation

2.4自定义DefaultSource

2.5编写测试主类

总结：

1.概述：

我们在开发用户画像的标签系统的模型的时候，需要从Hbase里面读取数据，编写HbaseTool工具类，HbaseTool里提供两个方法：read 和 write ，其用处就是传递参数读写表的数据。但是，我们是否能够实现向SparkSQL那样读写MYSQL数据库表的数据呢？

SparkSQL读写MYSQL数据：

// load：加载数据
val jdbcDF = spark.read
 .format("jdbc")       // 指定数据源
 .option("driver", "com.mysql.jdbc.Driver") // 参数
 .option("url", "jdbc:postgresql:dbserver")
 .option("dbtable", "schema.tablename")
 .option("user", "username")
 .option("password", "password")
 .load() // 加载数据
// save: 保存数据
jdbcDF.write
 .format("jdbc") // 指定数据源
 .option("driver", "com.mysql.jdbc.Driver") // 参数
 .option("url", "jdbc:postgresql:dbserver")
 .option("dbtable", "schema.tablename")
 .option("user", "username")
 .option("password", "password")
 .save() // 保存数据

今天就来讲一讲如何实现像SparkSQL 一样读写外部的数据源。

2.External DataSource

从Spark1.3开始，SparkSQL开始正式支持外部数据源。SparkSQL开放了一系列可操作的外部数据源接口，可供开发者去使用。其接口在org.apache.spark.sql.sources包下的：interfaces.scala。

其主要有两个类：BaseRelation 和 RelationProvider

如果要实现一个外部数据源，比如hbase数据源，支持Spark SQL操作HBase数据库。那么就必须定义HBaseRelation来继承BaseRelation，同时也要定义DefaultSource实现一个
RelationProvider。
(1)BaseRelation：
代表了一个抽象的数据源;
该数据源由一行行有着已知schema的数据组成(关系表)
展示从DataFrame中产生的底层数据源的关系或者表;
定义如何产生schema信息
(2)RelationProvider：
根据用户提供的参数(parameters)返回一个数据源(BaseRelation)
一个Relation的提供者，创建BaseRelation

2.1BaseRelation

BaseRelation是Spark SQL中外部数据源的抽象，它主要定义了如何与外部数据源进行交互。

abstract class BaseRelation{
    def sqlContext: SQLContext
    def schema: StructType

}
// 如果自定义Relation，必须重写schema，就是必须描述对于外部数据源的Schema。

SparkSQL从外部数据源加载（读取）数据和保存（写入）数据时，提供不同接口实现:

        (1)加载数据接口：

提供4种 Scan 策略，加载数据：

一般来说只会用TableScan，TableScan实现其中方法buildScan，其作用是定义如何查询外部数据源。

其他的Scan作用：

        PrunedScan:提供列裁剪的数据扫描服务，可以传入指定的列，不需要的列不会从外部数据源加载。
        PrunedFilteredScan :提供列裁剪和过滤下推的数据扫描服务，在列裁剪的基础上，并且加入Filter机制，在加载数据也的时候就进行过滤，而不是在客户端请求返回时做Filter。
        CatalystScan :它负责将SQL查询转换为高效的物理执行计划。Catalyst的支持传入expressions来进行Scan，支持列裁剪和Filter.

        （2）保存数据接口：

InsertableRelation ：保存数据的 Relation。

2.2.RelationProvider

RelationProvider是BaseRelation的一个提供者。RelationProvider获取参数列表，返回一个BaseRelation对象。要实现这个接口需要接受传入的参数 ，来生成对应的External Relation，就是 一个反射生产外部数据源Relation的接口 ，接口定义:

trait RelationProvider{
  def createRelation(
      sqlContext: SQLContext, parameters: Map[String, String]
 ): BaseRelation
}

加载数据构建的Provider与保存数据的Provider基本上一致：

于是实现自定义数据源从Hbase表读取数据需要创建的文件以及包结构如下：


HBaseRelation继承TableScan、BaseRelation、InsertableRelation

而DefaultSource需要继承RelationProvider、CreatableRelationProvider

2.3自定义HBaseRelation

自定义 HBaseRelation 类，除了继承 BaseRelation 、 TableScan 和 InsertableRelation ，此外实现序列化接口 Serializable ，所有类声明如下，其中实现 Serializable 接口为了保证对象可以被序列化和反序列化。

将读写HBase表数据时参数属性定义为常量：

// 连接接HBase数据库的属性名称
 val HBASE_ZK_QUORUM_KEY: String = "hbase.zookeeper.quorum"
 val HBASE_ZK_QUORUM_VALUE: String = "zkHosts"
 val HBASE_ZK_PORT_KEY: String = "hbase.zookeeper.property.clientPort"
 val HBASE_ZK_PORT_VALUE: String = "zkPort"
 val HBASE_TABLE: String = "hbaseTable"
 val HBASE_TABLE_FAMILY: String = "family"
 val SPERATOR: String = ","
 val HBASE_TABLE_SELECT_FIELDS: String = "selectFields"
 val HBASE_TABLE_ROWKEY_NAME: String = "rowKeyColumn"

HBaseRelation具体代码如下：

package com.rison.tag.spark.hbase

import org.apache.hadoop.conf.Configuration
import org.apache.hadoop.hbase.client.{Put, Result, Scan}
import org.apache.hadoop.hbase.filter.{FilterList, SingleColumnValueFilter}
import org.apache.hadoop.hbase.io.ImmutableBytesWritable
import org.apache.hadoop.hbase.mapreduce.{TableInputFormat, TableOutputFormat}
import org.apache.hadoop.hbase.protobuf.ProtobufUtil
import org.apache.hadoop.hbase.util.{Base64, Bytes}
import org.apache.spark.rdd.RDD
import org.apache.spark.sql.{DataFrame, Row, SQLContext}
import org.apache.spark.sql.sources.{BaseRelation, InsertableRelation, TableScan}
import org.apache.spark.sql.types.{HIVE_TYPE_STRING, StructType}

/**
 *         自定义外部数据源：从HBase表加载数据和保存数据值HBase表
 */
class HBaseRelation(context: SQLContext, params: Map[String, String], userSchema: StructType) extends BaseRelation with TableScan with InsertableRelation with Serializable {

  // 连接HBase数据库的属性名称
  val HBASE_ZK_QUORUM_KEY: String = "hbase.zookeeper.quorum"
  val HBASE_ZK_QUORUM_VALUE: String = "zkHosts"
  val HBASE_ZK_PORT_KEY: String = "hbase.zookeeper.property.clientPort"
  val HBASE_ZK_PORT_VALUE: String = "zkPort"
  val HBASE_TABLE: String = "hbaseTable"
  val HBASE_TABLE_FAMILY: String = "family"
  val SPERATOR: String = ","
  val HBASE_TABLE_SELECT_FIELDS: String = "selectFields"
  val HBASE_TABLE_ROWKEY_NAME: String = "rowKeyColumn"
  val HBASE_TABLE_FILTER_CONDITIONS: String = "filterConditions"

  /**
   * SQLContext 实例对象
   *
   * @return
   */
  override def sqlContext: SQLContext = context

  /**
   * DataFrame 的 schema 信息
   *
   * @return
   */
  override def schema: StructType = userSchema

  /**
   * 如何从HBase表中读取数据，返回RDD[Row]
   *
   * @return
   */
  override def buildScan(): RDD[Row] = {
    //设置HBase中Zookeeper集群信息
    val conf = new Configuration()
    conf.set(HBASE_ZK_PORT_KEY, params(HBASE_ZK_PORT_KEY))
    conf.set(HBASE_ZK_QUORUM_KEY, params(HBASE_ZK_QUORUM_KEY))
    //设置Hbase表的名称
    conf.set(TableInputFormat.INPUT_TABLE, params(HBASE_TABLE))
    //设置读取列簇和列的名称
    val scan = new Scan()
    //设置列簇
    val familyBytes: Array[Byte] = Bytes.toBytes(params(HBASE_TABLE_FAMILY))
    scan.addFamily(familyBytes)
    //设置列的名称
    val fields: Array[String] = params(HBASE_TABLE_SELECT_FIELDS).split(SPERATOR)
    fields.foreach(
      field => scan.addColumn(familyBytes, Bytes.toBytes(field))
    )

    //优化 添加过滤条件格式为：modified[GE]20190601,modified[LE]20191201
    val filterConditions: String = params.getOrElse(HBASE_TABLE_FILTER_CONDITIONS, null)
    if (null != filterConditions && filterConditions.length > 0) {
      //构建FilterList对象
      val filterList = new FilterList()
      //依据条件语句创建Filter对象
      filterConditions.split(SPERATOR).foreach {
        filterCondition =>
          //解析Filter clause
          val condition: Condition = Condition.parseCondition(filterCondition)
          //创建SingleColumnValueFilter对象
          val filter = new SingleColumnValueFilter(
            familyBytes, //列簇
            Bytes.toBytes(condition.field), //列名
            condition.compare, //比较操作符
            Bytes.toBytes(condition.value) // 比较值
          )
          //将过滤的列加入到选择的列中
          scan.addColumn(familyBytes, Bytes.toBytes(condition.field))
          //添加到FilterList
          filterList.addFilter(filter)
      }
      scan.setFilter(filterList)
    }

    //设置scan过滤
    conf.set(
      TableInputFormat.SCAN,
      Base64.encodeBytes(ProtobufUtil.toScan(scan).toByteArray)
    )

    //调用底层API , 读取 HBase表的数据
    val datasRDD: RDD[(ImmutableBytesWritable, Result)] = sqlContext.sparkContext
      .newAPIHadoopRDD(
        conf,
        classOf[TableInputFormat],
        classOf[ImmutableBytesWritable],
        classOf[Result]
      )
    //转换为RDD[Row]
    val rowsRDD: RDD[Row] = datasRDD.map {
      case (_, result) =>
        val values: Array[String] = fields.map {
          field =>
            Bytes.toString(result.getValue(familyBytes, Bytes.toBytes(field)))
        }
        Row.fromSeq(values)
    }
    rowsRDD
  }


  /**
   * 将数据【dataFrame】保存到Hbase中
   *
   * @param data      数据集
   * @param overwrite 保存模式
   */
  override def insert(data: DataFrame, overwrite: Boolean): Unit = {
    //数据转换
    val columns: Array[String] = data.columns
    val putsRDD: RDD[(ImmutableBytesWritable, Put)] = data.rdd.map {
      row =>
        //获取RowKey
        val rowKey: String = row.getAs[String](params(HBASE_TABLE_ROWKEY_NAME))
        //构建Put对象
        val put = new Put(Bytes.toBytes(rowKey))
        //每列数据加入到Put中
        val familyBytes: Array[Byte] = Bytes.toBytes(params(HBASE_TABLE_FAMILY))
        columns.foreach(
          column =>
            put.addColumn(
              familyBytes,
              Bytes.toBytes(column),
              Bytes.toBytes(row.getAs[String](column))
            )
        )
        //返回二元组
        (new ImmutableBytesWritable(put.getRow), put)
    }
    //设置HBase中Zookeeper集群信息
    val conf = new Configuration()
    conf.set(HBASE_ZK_PORT_KEY, params(HBASE_ZK_PORT_KEY))
    conf.set(HBASE_ZK_QUORUM_KEY, params(HBASE_ZK_QUORUM_KEY))
    //设置Hbase表的名称
    conf.set(TableInputFormat.INPUT_TABLE, params(HBASE_TABLE))
    // 4. 保存数据到表
    putsRDD.saveAsNewAPIHadoopFile(
      s"/apps/hbase/${params(HBASE_TABLE)}-" +
        System.currentTimeMillis(),
      classOf[ImmutableBytesWritable], //
      classOf[Put], //
      classOf[TableOutputFormat[ImmutableBytesWritable]], //
      conf //
    )
  }
}

2.4自定义DefaultSource

自定义类 DefaultSource 也一样，除了需要继承那两个类为了更好序列化反序列化需要再继承Serializable：

package com.rison.tag.spark.hbase

import org.apache.spark.sql.{DataFrame, SQLContext, SaveMode}
import org.apache.spark.sql.sources.{BaseRelation, CreatableRelationProvider, DataSourceRegister, RelationProvider}
import org.apache.spark.sql.types.{StringType, StructField, StructType}

/**
 *   自定义外部数据源HBase，提供BaseRelation对象，用于加载数据和保存数据
 */
class DefaultSource extends RelationProvider with CreatableRelationProvider with DataSourceRegister with Serializable {
  /**
   * 参数信息
   */
  val HBASE_TABLE_SELECT_FIELDS: String = "selectFields"
  val SPERATOR: String  = ","
  /**
   * 返回BaseRelation实例对象，提供加载数据功能
   * @param sqlContext SQLContext 实例对象
   * @param parameters 参数信息
   * @return
   */
  override def createRelation(sqlContext: SQLContext, parameters: Map[String, String]): BaseRelation = {
    //定义schema信息
    val schema: StructType = StructType(
      parameters(HBASE_TABLE_SELECT_FIELDS).split(SPERATOR).map(
        field => StructField(field, StringType, nullable = true)
      )
    )
    //创建HBaseRelation对象
    val relation = new HBaseRelation(sqlContext, parameters, schema)
    relation
  }

  /**
   * 返回BaseRelation实例对象，提供保存数据功能
   * @param sqlContext SQLContext
   * @param mode   保存模式
   * @param parameters 参数
   * @param data 数据集
   * @return
   */
  override def createRelation(sqlContext: SQLContext, mode: SaveMode, parameters: Map[String, String], data: DataFrame): BaseRelation = {
    //创建HBaseRelation对象
    val relation = new HBaseRelation(sqlContext, parameters, data.schema)
    //插入数据
    relation.insert(data, overwrite = true)
    //返回对象
    relation
  }

  /**
   * 数据源使用简短名称
   * @return
   */
  override def shortName(): String = "hbase"
}

2.5编写测试主类

在Hbase中建表：

create "tbl_users", "info"

编写MAIN主类，测试上述自定义外部数据源实现从HBase表读写数据接口:

import org.apache.spark.sql.{DataFrame, SaveMode, SparkSession}

object HBaseSQLTest {
 
 def main(args: Array[String]): Unit = {
 
     val spark = SparkSession.builder()
         .appName(this.getClass.getSimpleName.stripSuffix("$"))
         .master("local[4]")
         .config("spark.serializer", 
 "org.apache.spark.serializer.KryoSerializer")
         .getOrCreate()
        import spark.implicits._
 
 // 读取数据
     val usersDF: DataFrame = spark.read
         .format("cn.itcast.tags.spark.sql")
         .option("zkHosts", "bigdata-cdh01.itcast.cn")
         .option("zkPort", "2181")
         .option("hbaseTable", "tbl_tag_users")
         .option("family", "detail")
         .option("selectFields", "id,gender")
         .load()
 
     usersDF.printSchema()
     usersDF.cache()
     usersDF.show(10, truncate = false)
    // 保存数据
     usersDF.write
         .mode(SaveMode.Overwrite)
         .format("cn.itcast.tags.spark.sql")
         .option("zkHosts", "bigdata-cdh01.itcast.cn")
         .option("zkPort", "2181")
         .option("hbaseTable", "tbl_users")
         .option("family", "info")
         .option("rowKeyColumn", "id")
         .save()
 
     spark.stop()
     }
}

 通过查询数据库发现id已经加载进去，这样就完成自定义外部数据源的开发了。

总结：

传统的数据源编写像HbaseTools需要编写的代码复杂，不利于代码的规范化，而SparkSQL给予的接口使得用户可以自定义外部数据源从而实现了代码的规范化，而且对于数据的加载以及保存提供了更方便的操作。

（以上部分资料来自黑马程序员，自用笔记，侵删。）

行坐亦念
关注
  • 25
    点赞
  • 踩
  • 13
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
用户标签体系的建立及其应用
yiguanfangzhou的博客
07-02 2544
作者：易观高级数字营销经理 赵岩 跟一个B端负责增长的客户聊天，印象深刻。 客户X：我从来没像今天这样这么在意我的用户，因为用户太来之不易了，注册成本都快赶上客单价了，早些年获得10个注册的钱现在获得一个都难，所以我们不得不进入到精细化运营的阶段，一分钱都仔细花。 我（小赵）：你的客户在成长，对你的要求变高，你需要做的更好，友商也在成长，你还需要做的更好。 客户X：最近我们开始意识到，要想获得用户...
用户画像打标签
AAA2556225的博客
09-27 1182
用户画像的作用: 1.市场细分和用户分群 市场营销领域的重要环节。比如在新品发布时，定位目标用户，切分市场。这是营销研究公司会经常用的方式。 2.数据化运营和用户分析 后台PV\UV\留存等数据，如果能够结合用户画像一起分析就会清晰很多，更能揭示数据趋势背后的秘密。 3.精准营销和定向投放 比如某产品新款上市，目标受众是白领女性，在广告投放前，就需要找到符合这一条件的用户，进行定向广告投放。 4各种数据应用 例如推荐系统、预测系统。我们认为：未来所有应用一定是个性化的，所有服务都是千人千面
机器学习->推荐系统->利用用户标签数据
村头陶员外的博客
03-24 5638
在之前的博文中介绍了三种方法给用户推荐物品。 1）UserCF：给用户推荐和他们兴趣爱好相似的其他用户喜欢的物品。 2) ItemCF：给用户推荐与他喜欢过的物品相似的物品。 3) LFM：通过一些特征来联系用户和物品，给用户推荐那些具有用户喜欢的特征的物品。 具体可以看我之前的博文。 本文我将自己实现两个算法，如有不对的地方还望指正。 本节咱们将讨论一种重要的特征表现形式–标签
用户画像—打用户行为标签
热门推荐
u014156013的博客
09-12 2万+
数据仓库 用户画像的应用流程从原始的数据输入到模型应用可分为5块（图1），包括将操作型环境数据经ETL后集中存储在数据仓库，之后经过对数据的建模、挖掘、分析建立用户画像模型，最终将建好用户画像的数据接口调用到BI报表、经营分析、精准营销、个性化推荐等各系统模块。   图1 用户画像开发，主要是对数据仓库中的业务表、日志表、埋点表中的相关数据进行各维度建模。所以要对数据仓库和元数据非常熟悉。...
用户画像之标签开发
weixin_44996457的博客
12-31 526
用户标签、用户画像
用户画像标签数据开发之用户特征库开发
yang_shibiao的博客
01-26 2003
目录 0. 相关文章链接 1. 什么是用户特征库 2. 特征库规划 3. 数据开发 4. 其他特征库规划 注：此博文为根据 赵宏田 老师的 用户画像·方法论与工程化解决方案 一书读后笔记而来，仅供学习使用 0. 相关文章链接 用户画像文章汇总 1. 什么是用户特征库 为进一步从多个维度丰富用户特征，挖掘用户的相关行为，除了 开发用户标签体系外，一般还会开发用户的特征库。一方面为个性化 推荐、精准营销、商业分析等应用提供中间层数据，另一方面也可以 削减不同算法在特征构建时的...
用户画像系统解决方案——标签数据开发.pdf
11-18
该解决方案主要包括用户画像基础知识、用户标签指标体系、搭建开发环境、标签数据存储、标签数据开发、开发性能调优、作业流程调度、用户画像产品化等方面。 用户画像基础知识： * 用户画像系统是指通过数据仓库和...
用户画像系统解决方案——标签数据存储.pdf
11-18
用户画像系统解决方案——标签数据存储 用户画像系统解决方案是指通过收集和分析用户行为数据，生成用户画像的过程。该系统的核心是标签数据的存储和分析。本文将详细介绍用户画像系统解决方案中标签数据存储的方法...
用户画像系统解决方案——用户标签指标体系.pdf
11-18
用户画像系统架构目录包括用户画像基础知识、用户标签指标体系、搭建开发环境、标签数据存储、标签数据开发、开发性能调优、作业流程调度、用户画像产品化等几个部分。 用户画像系统的核心是用户标签指标体系，它是...
用户画像系统解决方案——搭建开发环境.pdf
11-18
本资源旨在解决用户画像系统的开发环境搭建问题，提供了一个完整的解决方案，涵盖了用户画像基础知识、标签指标体系、搭建开发环境、标签数据存储、标签数据开发、开发性能调优、作业流程调度、用户画像产品化、用户...
干货|数据分析之用户画像方法与实践
01-27
在这个阶段中，我们不得不使用一个工具——用户“画像”标签体系。今天我们就来说说用户画像。本文重点：1.用户画像在数据分析中的应用；2.如何构建用户画像。 用户画像（UserPersona）的概念最早由交互设计之父...
用户画像标签数据开发之各种用户标签开发
yang_shibiao的博客
01-26 915
注：此博文为根据 赵宏田 老师的 用户画像·方法论与工程化解决方案 一书读后笔记而来，仅供学习使用 0. 相关文章链接 用户画像文章汇总 1. 什么是统计类标签 统计类标签是指统计用户相关数值、客观描述用户状态的标签， 如用户的年龄、体重、累计购买金额、累计购买次数、近30日登录次数等。 2. 近30日购买行为标签案例 对近30日购买行为这个二级类目进行拆解，可将其拆解为：付款订单量（对应标 签“ACTION_U_01_001”）、总付款金额（对应标签“ACTION_U_01_0...
FlinkCDC-3.1.1 DataStream Source
最新发布
SunTecTec
07-04 145
scala版本根据下载flink.tgz安装包时指定的版本号。在poml文件中，导入的flink-table依赖把。
Perl 语言开发（三）：运算符和表达式
07-02 868
Perl作为一种功能强大且灵活的编程语言，在文本处理、系统管理、网络编程等领域有着广泛应用。运算符和表达式是Perl语言的核心组成部分，掌握它们的使用能够显著提升代码的可读性和效率。本文将详细介绍Perl中的各种运算符和表达式，包括算术运算符、字符串运算符、逻辑运算符、文件测试运算符等，通过丰富的实例代码，帮助读者全面理解并应用这些重要的编程元素。
redhat7.x 升级openssh至openssh-9.8p1
wyx的博客
07-04 924
配置安装：cd openssh-9.8p1 && ./configure --prefix=/usr/local/openssh --sysconfdir=/etc/ssh --with-pam --with-ssl-dir=/usr/local/openssl/ --with-zlib=/usr/local/zlib。安装配置：cd openssl-1.1.1v && ./config --prefix=/usr/local/openssl -d shared。OS系统：redhat 7.4。
rtpengine_mr12.0 基础建设&&容器运行
原来45的博客
07-04 445
rtpengine IMS 音视频

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值