Spark项目实战—电商用户行为分析

一、【SparkCore篇】项目实战—电商用户行为分析

前言：数据准备

我们看看在实际的工作中如何使用这些 API 实现具体的需求。这些需求是电商网站的真实需求，所以在实现功能前，咱们必须先将数据准备好。

上面的数据图是从数据文件中截取的一部分内容，表示为电商网站的用户行为数据，主要包含用户的 4 种行为：搜索，点击，下单，支付。

1、数据规则如下:

1. 数据文件中每行数据采用下划线分隔数据
2. 每一行数据表示用户的一次行为，这个行为只能是 4 种行为的一种
3. 如果搜索关键字为 null,表示数据不是搜索数据
4. 如果点击的品类 ID 和产品 ID 为-1，表示数据不是点击数据
5. 针对于下单行为，一次可以下单多个商品，所以品类 ID 和产品 ID 可以是多个，id 之间采用逗号分隔，如果本次不是下单行为，则数据采用 null 表示
6. 支付行为和下单行为类似

2、详细字段说明：

3、样例类

//用户访问动作表
case class UserVisitAction(
 date: String,//用户点击行为的日期
 user_id: Long,//用户的 ID
 session_id: String,//Session 的 ID
 page_id: Long,//某个页面的 ID
 action_time: String,//动作的时间点
 search_keyword: String,//用户搜索的关键词
 click_category_id: Long,//某一个商品品类的 ID
 click_product_id: Long,//某一个商品的 ID
 order_category_ids: String,//一次订单中所有品类的 ID 集合
 order_product_ids: String,//一次订单中所有商品的 ID 集合
 pay_category_ids: String,//一次支付中所有品类的 ID 集合
 pay_product_ids: String,//一次支付中所有商品的 ID 集合
 city_id: Long
)//城市 id

（一）需求1：TOP10热门品类

1、需求说明

不同的公司可能对热门的定义不一样。我们按照每个品类的点击、下单、支付的量来统计热门品类。

本项目需求优化为：先按照点击数排名，靠前的就排名高；如果点击数相同，再比较下单数；下单数再相同，就比较支付数。

2、代码实现方案1

package req

import org.apache.spark.rdd.RDD
import org.apache.spark.{
   SparkConf, SparkContext}

object Spark01_req01_HotCategeryTop10 {
   
  def main(args: Array[String]): Unit = {
   

    //TODO 热门品类
    val sparkconf: SparkConf = new SparkConf().setAppName("hotCategery").setMaster("local[*]")
    val sc: SparkContext = new SparkContext(sparkconf)

    //1、读取原始日志数据
    val actionRDD: RDD[String] = sc.textFile("data/user_visit_action.txt")
    actionRDD.cache() //调用缓存

    //2、统计品类的点击数量：（品类id,点击数量）
    val clickActionRDD: RDD[String] = actionRDD.filter(
      action => {
   
        val datas = action.split("_")
        datas(6) != "-1"
      }
    )

    val clickcountRDD: RDD[(String, Int)] = clickActionRDD.map(
      action => {
   
        val datas = action.split("_")
        (datas(6), 1)
      }
    ).reduceByKey(_ + _)

    clickcountRDD.sortBy(_._2, false).take(10).foreach(println)

    //3、统计品类的下单数量：（品类id,下单数量）
    val orderActionRDD: RDD[String] = actionRDD.filter(
      action => {
   
        val datas = action.split("_")
        datas(8) != "null" //下单不为null值
      }
    )

    //orderid=>1,2,3  【(1,1),(2,1),(3,1)】
    //1个order拆分成多个商品
    val ordercountRdd: RDD[(String, Int)] = orderActionRDD.flatMap(
      action => {
   
        val datas = action.split("_")
        val cid: String = datas(8)
        val cids: Array[String] = cid.split(",")
        cids.map(id =>