匹配标签开发:职业标签

最新推荐文章于 2024-12-05 11:03:02 发布
最新推荐文章于 2024-12-05 11:03:02 发布
阅读量1.2k 收藏 5
点赞数 6
分类专栏： # 企业级360°全方位用户画像 文章标签： 职业标签开发 用户画像
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43563705/article/details/108974479
版权

絮叨两句:
博主是一名数据分析实习生,利用博客记录自己所学的知识,也希望能帮助到正在学习的同学们
人的一生中会遇到各种各样的困难和折磨，逃避是解决不了问题的，唯有以乐观的精神去迎接生活的挑战
少年易老学难成，一寸光阴不可轻。
最喜欢的一句话:今日事,今日毕

职业标签开发

终于到了标签开发的环节,九九八十一难,最后的终点也是起点,大家继续加油

开发准备工作

↓↓↓↓↓↓↓↓↓↓点击下方链接,就可以获取POM文件和前期所要准备的工作!必点↓↓↓↓↓↓↓↓↓↓
企业级360°全方位用户画像:标签开发[匹配标签]（前期准备工作）①
样例类:HBaseMeta 与 TagRule 提前定义好样例类,为了后面方便使用数据
在这里插入图片描述
在这里插入图片描述

进入web页面进行添加标签

在这里插入图片描述

  1. 启动
  2. 打开浏览器输入localhost:8081在这里插入图片描述
  3. 职业属于人口属性在这里插入图片描述
  4. 创建四级标签
    在这里插入图片描述
  5. 创建职业标签在这里插入图片描述
inType=HBase##zkHosts=192.168.10.20##zkPort=2181##hbaseTable=tbl_users##family=detail##selectFields=id,job
  1. 创建五级标签在这里插入图片描述
    在这里插入图片描述

开始进行标签匹配

分步骤进行演示代码

①创建SparkSession对象

//创建SparkSession对象 用于读取Hbase与Mysql数据
    val spark = SparkSession.builder().appName("Job").master("local[*]").getOrCreate()
    val sparkContext = spark.sparkContext
    sparkContext.setLogLevel("WARN")

在这里插入图片描述

②连接Mysql

      //2.连接Mysql 用于读取四级标签与五级标签
    var url="jdbc:mysql://bd001:3306/tags_new?characterEncoding=UTF-8"
    var tbleName="tbl_basic_tag"//要读取那张表
    val properties: Properties = new Properties()
    properties.put("user","root")//mysql数据库用户名
    properties.put("password","123456")//mysql数据库密码
    val connectMysql = spark.read.jdbc(url, tbleName, properties)
    connectMysql.show()
    /**
     * +---+----+--------+--------------------+--------+-----+---+-------------------+-------------------+-----+------+
     * | id|name|industry|                rule|business|level|pid|              ctime|              utime|state|remark|
     * +---+----+--------+--------------------+--------+-----+---+-------------------+-------------------+-----+------+
     * |  1|  电商|    null|                null|    null|    1| -1|2019-10-25 23:31:36|2019-10-25 23:31:36| null|  null|
     * |  2| 某电商|    null|                null|    null|    2|  1|2019-10-25 23:31:36|2019-10-25 23:31:36| null|  null|
     * |  3|人口属性|    null|                null|    null|    3|  2|2019-10-25 23:31:36|2019-10-25 23:31:36| null|  null|
     * |  7|  职业|    null|inType=HBase##zkH...|    null|    4|  3|2019-10-27 02:56:58|2019-10-27 02:57:02| null|  null|
     * |  8|  学生|    null|                   1|    null|    5|  7|               null|               null| null|  null|
     * |  9| 公务员|    null|                   2|    null|    5|  7|               null|               null| null|  null|
     * | 10|  军人|    null|                   3|    null|    5|  7|               null|               null| null|  null|
     * | 11|  警察|    null|                   4|    null|    5|  7|               null|               null| null|  null|
     * | 12|  教师|    null|                   5|    null|    5|  7|               null|               null| null|  null|
     * | 13|  白领|    null|                   6|    null|    5|  7|               null|               null| null|  null|
     * +---+----+--------+--------------------+--------+-----+---+-------------------+-------------------+-----+------+
     */

在这里插入图片描述

③读取四级标签数据

   val four_Tag = connectMysql.select("id", "rule").where("name='职业'")
//    four_Tag.show(false)
    /**
     * +---+----------------------------------------------------------------------------------------------------------+
     * |id |rule                                                                                                      |
     * +---+----------------------------------------------------------------------------------------------------------+
     * |7  |inType=HBase##zkHosts=192.168.10.20##zkPort=2181##hbaseTable=tbl_users##family=detail##selectFields=id,job|
     * +---+----------------------------------------------------------------------------------------------------------+
     */
    //引入隐式转换
    import  spark.implicits._
    //引入SparkSql内置函数
    import org.apache.spark.sql.functions._
    //引入java和scala 相互转换
    import scala.collection.JavaConverters._
    //读取职业标签ID
    val four_id: Int = four_Tag.map(row => {
      row.getAs("id").toString
    }).collectAsList().get(0).toInt
//    println("四级标签Id:",four_id)
    /**
     * (四级标签Id:,7)
     */
	//读取职业标签Rule
    val four_rule = four_Tag.map(row => {
      row.getAs("rule").toString
        .split("##").map(kvrow => {
        val kvMap = kvrow.split("=")
        (kvMap(0), kvMap(1))
      })
    }).collectAsList().get(0).toMap
//    println("四级标签Rule:",four_rule)
    /**
     * (四级标签Rule:,Map(selectFields -> id,job, inType -> HBase, zkHosts -> 192.168.10.20, zkPort -> 2181, hbaseTable -> tbl_users, family -> detail))
     */
    //对四级标签进行封装用户方便获取数据
    val hBaseMeta = MapToHbaseRule(four_rule)
//    println("将Map转换成样例类:",hBaseMeta)
    /**
     * (将Map转换成样例类:,HBaseMeta(HBase,192.168.10.20,2181,tbl_users,detail,id,job,))
     */

方法:MapToHbaseRule—>用于封装Map

def MapToHbaseRule(four_rule: Map[String, String]) = {
    HBaseMeta(inType = four_rule.getOrElse("inType",""),
      zkHosts = four_rule.getOrElse("zkHosts",""),
      zkPort = four_rule.getOrElse("zkPort",""),
      hbaseTable = four_rule.getOrElse("hbaseTable",""),
      family = four_rule.getOrElse("family",""),
      selectFields = four_rule.getOrElse("selectFields",""),
      rowKey = four_rule.getOrElse("rowKey",""))
  }

在这里插入图片描述

④读取五级标签数据:

   //读取五级标签
    val five_Tag = connectMysql.select("id", "rule").where("pid=" + four_id)
//    five_Tag.show(false)
    /**
     * +---+----+
     * |id |rule|
     * +---+----+
     * |8  |1   |
     * |9  |2   |
     * |10 |3   |
     * |11 |4   |
     * |12 |5   |
     * |13 |6   |
     * +---+----+
     */

在这里插入图片描述

⑤读取Hbase数据 根据第3步处理好的数据用来读取Hbase数据

//5. 读取Hbase数据
  val hbase_users = spark.read.format("cn.itcast.up29.tools.HBaseSource")
    .option(HBaseMeta.ZKHOSTS, hBaseMeta.zkHosts)
    .option(HBaseMeta.ZKPORT, hBaseMeta.zkPort)
    .option(HBaseMeta.FAMILY, hBaseMeta.family)
    .option(HBaseMeta.HBASETABLE, hBaseMeta.hbaseTable)
    .option(HBaseMeta.SELECTFIELDS, hBaseMeta.selectFields)
    .load()
    hbase_users.show()

    /**
     * +---+---+
     * | id|job|
     * +---+---+
     * |  1|  3|
     * | 10|  5|
     * |100|  3|
     * |101|  1|
     * |102|  1|
     * |103|  3|
     * |104|  6|
     * |105|  2|
     * |106|  4|
     * |107|  1|
     * |108|  4|
     * |109|  6|
     * | 11|  6|
     * |110|  4|
     * |111|  1|
     * |112|  1|
     * |113|  6|
     * |114|  1|
     * |115|  4|
     * |116|  6|
     * +---+---+
     * only showing top 20 rows
     *
     *
     * Process finished with exit code 0
     */

在这里插入图片描述

⑥将五级标签与tbl_users[用户表]进行匹配

//6. 将五级标签与Hbase数据进行匹配
    val new_Tag = hbase_users.join(five_Tag, five_Tag.col("rule") === hbase_users.col("job"))
      .select('id.as("userId"), 'fiveid.as("tagsId"))
    /**
     * +------+------+
     * |userId|tagsId|
     * +------+------+
     * |     1|    10|
     * |   100|    10|
     * |   103|    10|
     * |   117|    10|
     * |    12|    10|
     * |   120|    10|
     * |   124|    10|
     * |   126|    10|
     * |   130|    10|
     * |   131|    10|
     * |   134|    10|
     * |   136|    10|
     * |   141|    10|
     */

⑦读取Hbase的历史数据,将新数据与老数据合并

//7.读取Hbase的历史数据,将新数据与老数据合并
    // 考虑,hbase中最终标签表里已经有数据了,直接将新的数据写入,会发生什么问题? 答:会覆盖
    //考虑,现在已经通过追加的方式解决了覆盖的问题,如相同的程序多跑几次会发生什么问题? 答会重复
    //重复问题的解决办法,在追加数据之后,进程一次去重操作就可以了
    val old_Tag: DataFrame = spark.read.format("cn.itcast.up29.tools.HBaseSource")
      .option(HBaseMeta.ZKHOSTS, hBaseMeta.zkHosts)
      .option(HBaseMeta.ZKPORT, hBaseMeta.zkPort)
      .option(HBaseMeta.FAMILY, hBaseMeta.family)
      .option(HBaseMeta.HBASETABLE, "test")
      .option(HBaseMeta.SELECTFIELDS, "userId,tagsId")
      .load()
    //    old_Tag.show()
    /**
     * 还没有写入数据,
     * +------+------+
     * |userId|tagsId|
     * +------+------+
     * +------+------+
     */
    //7.1开始合并数据
    if (old_Tag.count() == 0) {
      //证明还没有数据直接将数据写入
      new_Tag.write.format("cn.itcast.userprofile.up24.tools.HBaseDataSource")
        .option(HBaseMeta.ZKHOSTS, hBaseMeta.zkHosts)
        .option(HBaseMeta.ZKPORT, hBaseMeta.zkPort)
        .option(HBaseMeta.FAMILY, hBaseMeta.family)
        .option(HBaseMeta.HBASETABLE, "test")
        .option(HBaseMeta.SELECTFIELDS, "userId,tagsId")
        .save()

    } else {
      val append_Tag: UserDefinedFunction = udf((old_T: String, new_T: String) => {
        println(old_T, new_T)
        if (old_T == "") {
          new_T
        } else if (new_T == "") {
          old_T
        } else if (old_T == "" && new_T == "") {
          ""
        } else {
          val all_T = old_T + "," + new_T
          //进行去重
          val all_TAG = all_T.split(",").distinct.mkString(",")
          all_TAG
        }

      })
      val old_Append_new: DataFrame = old_Tag.join(new_Tag, old_Tag.col("userId") === new_Tag.col("userId"))
        .select(
          when(old_Tag.col("userId").isNotNull, old_Tag.col("userId"))
            .when(new_Tag.col("userId").isNotNull, new_Tag.col("userId")).as("userId"),
          append_Tag(old_Tag.col("tagsId"), new_Tag.col("tagsId")).as("tagsId"))
      old_Append_new.show()
      /**
       * +------+----------+
       * |userId|    tagsId|
       * +------+----------+
       * |   296|   18,13,5|
       * |   467|   17,13,6|
       * |   675|   19,10,6|
       * |   691|    18,8,5|
       * |   829|   17,12,5|
       * |   125|   20,12,6|
       * |   451|    20,9,6|
       * |   800|   18,13,5|
       * |   853|   20,11,6|
       * |   944|   17,10,6|
       * |   666|    17,9,6|
       * |   870|   18,13,5|
       * |   919|    18,8,6|
       * |   926|    17,8,6|
       * |   124|   19,10,5|
       * |   447|   18,12,5|
       * |    51|28,18,11,5|
       * |   591|   19,10,5|
       * |     7|28,17,12,6|
       * |   307|   19,11,6|
       * +------+----------+
       */

⑧将最终结果写入

   //8.将最终结果写入到Hbase中
        old_Append_new.write.format("cn.itcast.up29.tools.HBaseSource")
        .option(HBaseMeta.ZKHOSTS, hBaseMeta.zkHosts)
        .option(HBaseMeta.ZKPORT, hBaseMeta.zkPort)
        .option(HBaseMeta.FAMILY, hBaseMeta.family)
        .option(HBaseMeta.HBASETABLE, "test")
        .option(HBaseMeta.SELECTFIELDS, "userId,tagsId")
        .save()

完整代码

package cn.itcast.up29.matchtag

import java.util.Properties

import cn.itcast.up29.bean.HBaseMeta
import org.apache.spark.sql.expressions.UserDefinedFunction
import org.apache.spark.sql.{DataFrame, SparkSession}

object Job_Tag {


  def main(args: Array[String]): Unit = {

    //1.创建SparkSession对象 用于读取Hbase与Mysql数据
    val spark = SparkSession.builder().appName("Job").master("local[*]").getOrCreate()
    val sparkContext = spark.sparkContext
    sparkContext.setLogLevel("WARN")
    //2.连接Mysql 用于读取四级标签与五级标签
    var url = "jdbc:mysql://bd001:3306/tags_new?characterEncoding=UTF-8"
    var tbleName = "tbl_basic_tag" //要读取那张表
    val properties: Properties = new Properties()
    properties.put("user", "root") //mysql数据库用户名
    properties.put("password", "123456") //mysql数据库密码
    val connectMysql = spark.read.jdbc(url, tbleName, properties)
    //    connectMysql.show()
    /**
     * +---+----+--------+--------------------+--------+-----+---+-------------------+-------------------+-----+------+
     * | id|name|industry|                rule|business|level|pid|              ctime|              utime|state|remark|
     * +---+----+--------+--------------------+--------+-----+---+-------------------+-------------------+-----+------+
     * |  1|  电商|    null|                null|    null|    1| -1|2019-10-25 23:31:36|2019-10-25 23:31:36| null|  null|
     * |  2| 某电商|    null|                null|    null|    2|  1|2019-10-25 23:31:36|2019-10-25 23:31:36| null|  null|
     * |  3|人口属性|    null|                null|    null|    3|  2|2019-10-25 23:31:36|2019-10-25 23:31:36| null|  null|
     * |  7|  职业|    null|inType=HBase##zkH...|    null|    4|  3|2019-10-27 02:56:58|2019-10-27 02:57:02| null|  null|
     * |  8|  学生|    null|                   1|    null|    5|  7|               null|               null| null|  null|
     * |  9| 公务员|    null|                   2|    null|    5|  7|               null|               null| null|  null|
     * | 10|  军人|    null|                   3|    null|    5|  7|               null|               null| null|  null|
     * | 11|  警察|    null|                   4|    null|    5|  7|               null|               null| null|  null|
     * | 12|  教师|    null|                   5|    null|    5|  7|               null|               null| null|  null|
     * | 13|  白领|    null|                   6|    null|    5|  7|               null|               null| null|  null|
     * +---+----+--------+--------------------+--------+-----+---+-------------------+-------------------+-----+------+
     */
    //3.读取四级标签数据
    val four_Tag = connectMysql.select("id", "rule").where("name='职业'")
    //    four_Tag.show(false)
    /**
     * +---+----------------------------------------------------------------------------------------------------------+
     * |id |rule                                                                                                      |
     * +---+----------------------------------------------------------------------------------------------------------+
     * |7  |inType=HBase##zkHosts=192.168.10.20##zkPort=2181##hbaseTable=tbl_users##family=detail##selectFields=id,job|
     * +---+----------------------------------------------------------------------------------------------------------+
     */
    //引入隐式转换
    import spark.implicits._
    //引入SparkSql内置函数
    import org.apache.spark.sql.functions._
    //引入java和scala 相互转换
    import scala.collection.JavaConverters._
    val four_id: Int = four_Tag.map(row => {
      row.getAs("id").toString
    }).collectAsList().get(0).toInt
    //    println("四级标签Id:",four_id)
    /**
     * (四级标签Id:,7)
     */

    val four_rule = four_Tag.map(row => {
      row.getAs("rule").toString
        .split("##").map(kvrow => {
        val kvMap = kvrow.split("=")
        (kvMap(0), kvMap(1))
      })
    }).collectAsList().get(0).toMap
    //    println("四级标签Rule:",four_rule)
    /**
     * (四级标签Rule:,Map(selectFields -> id,job, inType -> HBase, zkHosts -> 192.168.10.20, zkPort -> 2181, hbaseTable -> tbl_users, family -> detail))
     */
    //对四级标签进行封装用户方便获取数据
    val hBaseMeta = MapToHbaseRule(four_rule)
    //    println("将Map转换成样例类:",hBaseMeta)
    /**
     * (将Map转换成样例类:,HBaseMeta(HBase,192.168.10.20,2181,tbl_users,detail,id,job,))
     */
    //------------------------------
    //4.读取五级标签
    val five_Tag = connectMysql.select('id.as("fiveid"), 'rule).where("pid=" + four_id)
    //    five_Tag.show(false)
    /**
     * +---+----+
     * |id |rule|
     * +---+----+
     * |8  |1   |
     * |9  |2   |
     * |10 |3   |
     * |11 |4   |
     * |12 |5   |
     * |13 |6   |
     * +---+----+
     */
    //5. 读取Hbase数据
    val hbase_users = spark.read.format("cn.itcast.up29.tools.HBaseSource")
      .option(HBaseMeta.ZKHOSTS, hBaseMeta.zkHosts)
      .option(HBaseMeta.ZKPORT, hBaseMeta.zkPort)
      .option(HBaseMeta.FAMILY, hBaseMeta.family)
      .option(HBaseMeta.HBASETABLE, hBaseMeta.hbaseTable)
      .option(HBaseMeta.SELECTFIELDS, hBaseMeta.selectFields)
      .load()
    //    hbase_users.show()
    /**
     * +---+---+
     * | id|job|
     * +---+---+
     * |  1|  3|
     * | 10|  5|
     * |100|  3|
     * |101|  1|
     * |102|  1|
     * |103|  3|
     * |110|  4|
     * |111|  1|
     * |112|  1|
     * |113|  6|
     * |114|  1|
     * |115|  4|
     * |116|  6|
     * +---+---+
     */
    //6. 将五级标签与Hbase数据进行匹配
    val new_Tag = hbase_users.join(five_Tag, five_Tag.col("rule") === hbase_users.col("job"))
      .select('id.as("userId"), 'fiveid.as("tagsId"))
    /**
     * +------+------+
     * |userId|tagsId|
     * +------+------+
     * |     1|    10|
     * |   100|    10|
     * |   103|    10|
     * |   117|    10|
     * |    12|    10|
     * |   120|    10|
     * |   124|    10|
     * |   126|    10|
     * |   130|    10|
     * |   131|    10|
     * |   134|    10|
     * |   136|    10|
     * |   141|    10|
     */


    //7.读取Hbase的历史数据,将新数据与老数据合并
    // 考虑,hbase中最终标签表里已经有数据了,直接将新的数据写入,会发生什么问题? 答:会覆盖
    //考虑,现在已经通过追加的方式解决了覆盖的问题,如相同的程序多跑几次会发生什么问题? 答会重复
    //重复问题的解决办法,在追加数据之后,进程一次去重操作就可以了
    val old_Tag: DataFrame = spark.read.format("cn.itcast.up29.tools.HBaseSource")
      .option(HBaseMeta.ZKHOSTS, hBaseMeta.zkHosts)
      .option(HBaseMeta.ZKPORT, hBaseMeta.zkPort)
      .option(HBaseMeta.FAMILY, hBaseMeta.family)
      .option(HBaseMeta.HBASETABLE, "test")
      .option(HBaseMeta.SELECTFIELDS, "userId,tagsId")
      .load()
    //    old_Tag.show()
    /**
     * 还没有写入数据,
     * +------+------+
     * |userId|tagsId|
     * +------+------+
     * +------+------+
     */
    //7.1开始合并数据
    if (old_Tag.count() == 0) {
      //证明还没有数据直接将数据写入
      new_Tag.write.format("cn.itcast.up29.tools.HBaseSource")
        .option(HBaseMeta.ZKHOSTS, hBaseMeta.zkHosts)
        .option(HBaseMeta.ZKPORT, hBaseMeta.zkPort)
        .option(HBaseMeta.FAMILY, hBaseMeta.family)
        .option(HBaseMeta.HBASETABLE, "test")
        .option(HBaseMeta.SELECTFIELDS, "userId,tagsId")
        .save()

    } else {
      val append_Tag: UserDefinedFunction = udf((old_T: String, new_T: String) => {
//        println(old_T, new_T)
        if (old_T == "") {
          new_T
        } else if (new_T == "") {
          old_T
        } else if (old_T == "" && new_T == "") {
          ""
        } else {
          val all_T = old_T + "," + new_T
          //进行去重
          val all_TAG = all_T.split(",").distinct.mkString(",")
          all_TAG
        }

      })
      val old_Append_new: DataFrame = old_Tag.join(new_Tag, old_Tag.col("userId") === new_Tag.col("userId"))
        .select(
          when(old_Tag.col("userId").isNotNull, old_Tag.col("userId"))
            .when(new_Tag.col("userId").isNotNull, new_Tag.col("userId")).as("userId"),
          append_Tag(old_Tag.col("tagsId"), new_Tag.col("tagsId")).as("tagsId"))
//      old_Append_new.show()
      /**
       * +------+----------+
       * |userId|    tagsId|
       * +------+----------+
       * |   296|   18,13,5|
       * |   467|   17,13,6|
       * |   675|   19,10,6|
       * |   691|    18,8,5|
       * |   829|   17,12,5|
       * |   125|   20,12,6|
       * |   451|    20,9,6|
       * |   800|   18,13,5|
       * |   853|   20,11,6|
       * |   944|   17,10,6|
       * |   666|    17,9,6|
       * |   870|   18,13,5|
       * |   919|    18,8,6|
       * |   926|    17,8,6|
       * |   124|   19,10,5|
       * |   447|   18,12,5|
       * |    51|28,18,11,5|
       * |   591|   19,10,5|
       * |     7|28,17,12,6|
       * |   307|   19,11,6|
       * +------+----------+
       */
        //8.将最终结果写入到Hbase中
        old_Append_new.write.format("cn.itcast.up29.tools.HBaseSource")
        .option(HBaseMeta.ZKHOSTS, hBaseMeta.zkHosts)
        .option(HBaseMeta.ZKPORT, hBaseMeta.zkPort)
        .option(HBaseMeta.FAMILY, hBaseMeta.family)
        .option(HBaseMeta.HBASETABLE, "test")
        .option(HBaseMeta.SELECTFIELDS, "userId,tagsId")
        .save()
    }
  }

  def MapToHbaseRule(four_rule: Map[String, String]) = {
    HBaseMeta(inType = four_rule.getOrElse("inType",""),
      zkHosts = four_rule.getOrElse("zkHosts",""),
      zkPort = four_rule.getOrElse("zkPort",""),
      hbaseTable = four_rule.getOrElse("hbaseTable",""),
      family = four_rule.getOrElse("family",""),
      selectFields = four_rule.getOrElse("selectFields",""),
      rowKey = four_rule.getOrElse("rowKey",""))
  }


}

总结

职业标签到这里就开发结束
重要事情划重点：

  • 创建sparksession 对象 用于读取Mysql和Hbase数据库
  • 连接Mysql 用于读取四级标签与五级标签
  • 读取四级标签
  • 读取五级标签
  • 读取Hbase数据 根据第3步处理好的数据用来读取Hbase数据
  • 将五级标签与tbl_users[用户表]进行匹配
  • 读取Hbase的历史数据,将新数据与老数据合并
  • 将最终数据写入到Hbase
如有什么不正确,或者是有其他的方式的可以及时的联系我
感谢大家的支持,若能帮助到你,记得点赞支持一下
java技术专家【prometheus】4.3 prometheus 四种标签匹配模式
大壮
03-11 385
java技术专家【prometheus】4.3 prometheus 四种标签匹配模式
基于CatBoost的推荐系统开发：实现智能化推荐
AI天才研究院
07-27 1096
将深度学习的特征表示能力与CatBoost的预测能力相结合，构建更加强大的推荐系统。利用强化学习技术，根据用户的实时反馈动态调整推荐策略，提升推荐效果。提高推荐系统的可解释性，增强用户对推荐结果的信任度。本文将通过详细介绍CatBoost的原理及实践应用，并结合实际场景案例，来全面剖析推荐系统的各个环节及其挑战。CatBoost是什么?为什么需要用CatBoost?如何使用CatBoost训练模型？使用CatBoost训练出来的模型怎么做推荐?为什么推荐效果不佳?有哪些原因?
标签匹配
通往新世界
05-07 566
使用分组,模式替换,反向引用,.NET下研究正则的一个好例子.  string input = @"                        http://www.123456.com/333x/666e3/aaa.jpg"">点此查看图片                                                   http://www.123456.com/
要匹配的标签和内容_「标签式」 文件管理神器，现在可以不改文件名，智能匹配标签了...
weixin_39612720的博客
12-04 460
tagLyst 3 是一款 Windows / Mac 下的产应，现在可以更智能的为文件打上标签了。tagLyst 主张通过「标签」对件资料进行有效整合。现在，如果利用tagLyst新版的 智能标签匹配 功能，甚至可以在不修改⽂件名的情况下，完成智能的标签匹配。 tagLyst 以资料库的形式管理，我们可以将同一个文件夹下的⽂件添加到资料库内，并针对该资料库进单独的标签配置。由于每个文件都可以拥有...
标签开发：规则匹配型标签
chbxw
04-21 1933
  在实际画像项目中，业务数据存储在多个不同的存储引擎中，比如HBase表、Hive表、MySQL表及HDFS等等，此时整个项目支持多数据源加载数据。   标签模型可以从任意存储引擎加载业务数据，构建标签。 关于【 人口属性 】中主要标签如下所示，基本上属于规则匹配类型标签和统计类型标签。 ...
标签匹配（2）
11-12 106
最后得到的结果是最优的 但是读取结果的排序存在问题 因为select语句无法按排好的qid排序。除非新建一个用作排序的量。 明天做最后改动。 public int RelatedTest(int[] qid, int j, int temp) { for (int k = 0; k < j; k++) ...
用户画像第四章(企业级360°用户画像_标签开发_规则匹配标签）
汉子一枚
06-18 1046
标签开发 我们根据标签的计算方式的不同,我们将所有的标签划分成3种不同的类型: 匹配型:通过匹配对应的值来确定标签结果 统计型:按照一定的范围进行汇总分类得到标签结果 挖掘型:需要通过多个维度利用一定的算法才能得到的标签。 标签开发流程: 开发思路: 1、读取标签系统数据库（mysql）中的规则（四级标签和五级标签）到程序中 2、读取hbase中的数据到程序 3、在程序中匹配规则 4、匹配后将标签写入hbase 添加四级标签 规则标签: inType=HBase##zkHosts=192.168.10
LK32T102工程文件：职业院校集成电路开发应用
在集成电路开发过程中，硬件设计是基础，决定了电路板的物理尺寸、电气特性以及与微控制器等芯片的接口匹配问题。 CORE：这个文件夹可能包含核心文件，通常指的是源代码文件。这些代码文件可能涉及微控制器的核心...
【职位匹配术】：naukri上的职位筛选技巧，让你快速找到理想岗位
![【职位匹配术】：naukri上的职位筛选技巧，让你快速找到理想岗位]...# 1. naukri职位搜索概览 在当今竞争激烈的就业市场中，利用有效的在线资源进行职位搜索成为了求职者的关键成功因素之一。作为印度领先的求职...
HTML select标签：单选与多选用法详解
HTML中的`<select>`标签是网页开发中不可或缺的一部分，用于创建单选或多选菜单，让用户在提交表单时能够选择一个或多个选项。这个元素对于构建用户界面和收集用户输入非常有用。下面将详细介绍如何使用`<select>`...
利用 Elasticsearch 实现高效标签（Tag）匹配
最新发布
hello.reader
12-05 2060
"query": {"query": {"bool": {{ "term": { "tags": "搜索" } },{ "term": { "tags": "推荐" } }},// 提升最新内容的评分"""5.4 动态标签推荐标签匹配系统可以通过分析用户的历史查询数据，动态推荐相关标签。例如，可以根据已有文档的标签频率进行推荐。
MatchTagAlways - 一个高效的HTML标签匹配工具
gitblog_00032的博客
03-18 350
MatchTagAlways - 一个高效的HTML标签匹配工具 MatchTagAlways A Vim plugin that always highlights the enclosing html/xml tags 项目地址: https://gitcod...
要匹配的标签和内容_产品经理个性化推荐和标签库的建立
weixin_39735247的博客
12-04 528
上一篇文章我们介绍了常见的分发方式和算法分发的理论基础，这篇文章我们来进一步讨论，如何设计产品的性化推荐的规则。标签库个性化推荐的基础是用户画像，而用户画像就是将用户标签化，用一个个标签去描述用户处用户的特征、喜好、行为习惯等信息。为了数据标准化和规范化，我们需要在后台建立一个标签库，通过对标签库的维护，来满足用户画像的需求，并作为数据分析的依据。所谓标签库，也就是标签的集合，讲标签组织化和结构化...
视频社交交友系统开发匹配功能机制讲解
云豹网络科技
05-23 2142
随着直播行业的发展，直播、短视频、社交类的APP大量涌现。每家平台为了吸粉、引流、开拓市场，开发出各式各样的产品功能。 下面来看下云豹公司旗下产品–云豹视频社交交友系统开发中的匹配功能的实现。 1、用户申请匹配 用户申请时先检测用户的信息 登录状态 $checkToken=checkToken($uid,$token); if($checkToken==700){ $rs['code']...
HTML之文本标签学习，及正则表达式匹配html标签笔记
不定时分享最优质的网络技术与教程，满满的干货。
09-10 1468
此外，我们还需要考虑起始标签中包含style的数据，另外特殊的标签，对实际获取数据无意义，也需要过滤掉。>([\s\S]*?
【自然语言处理 AC自动机】标签匹配算法
赖德发的博客
07-05 2588
Aho-Corasick automaton，该算法在1975年产生于贝尔实验室，是著名的多模匹配算法。 要学会AC自动机，我们必须知道什么是Trie，也就是字典树。Trie树，又称单词查找树或键树，是一种树形结构，是一种哈希树的变种。典型应用是用于统计和排序大量的字符串（但不仅限于字符串），所以经常被搜索引擎系统用于文本词频统计。 一个常见的例子就是给出n个单词，再给出一段包含m个字符的文章...
用户画像的匹配标签代码（性别,职业,国籍）
weixin_45793819的博客
07-05 984
职业标签代码 import java.util.Properties import com.czxy.MathTag.bean.{HBaseMeta, TagRule} import org.apache.spark.sql.{DataFrame, Dataset, Row, SparkSession} object JobTag { // 职业 def main(args: Array[String]): Unit = { //1、创建sparkSQL实例没用于读取hbase
该不该有职场标签呢？你的标签是什么？｜智测优聘总结
Fuusu的博客
11-05 330
听说过职场标签吗？ 拥有良好的职场标签，不仅有助于提升新人的职业晋升；有助于更快的与老员工建立联系；有助于扩大自己的人脉圈，让此后的职业生涯越来越好。 那么，如何打造职场标签呢？良好的职场标签有哪些？人才初筛招聘网智测优聘今天给大家总结了一下，欢迎大家对号入座。 如何打造职场标签 “标签”体现的是自己的优异之处，因此，你入职之后给别人呈现的印象是什么，你的对外标签就是什么。比如：应届毕业生月月，不仅外貌优秀，而且还特别擅长视频拍摄、剪辑和后期制作，能够根据项目部的各种拍摄需求量身定制拍摄.
招聘网站岗位职位标签大全（爬虫所用）
稳稳C9的博客
01-28 2867
招聘网站岗位职位标签大全（爬虫所用）
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

weixin_43563705

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值