SparkCore之电商用户行为数据分析项目实战

1. 数据准备

• 本项目的数据是采集电商网站的用户行为数据，主要包含用户的4种行为：搜索、点击、下单和支付。

1）数据集

SparkCore项目实战中用到的数据集

2）数据格式说明

（1）数据采用 _ 分割字段；
（2）每一行表示用户的一个行为，所以每一行只能是四种行为中的一种；
（3）如果搜索关键字是null，表示这次不是搜索；
（4）如果点击的品类id和产品id是-1，表示这次不是点击；
（5）下单行为来说一次可以下单多个产品，所以品类id和产品id都是多个，id之间使用 ，(逗号)分割；如果本次不是下单行为，则他们相关数据用null来表示；
（6）支付行为和下单行为类似。

3）数据详细字段说明

2. 需求一：Top10热门品类

1）需求说明

• 品类是指产品的分类，大型电商网站品类分多级，咱们的项目中品类只有一级，不同的公司可能对热门的定义不一样。我们按照每个品类的点击、下单、支付的量来统计热门品类。
  
• 例如，综合排名 = 点击数 * 20% + 下单数 * 30% + 支付数 * 50%
• 本项目需求优化为：先按照点击数排名，靠前的就排名高；如果点击数相同，再比较下单数；下单数再相同，就比较支付数。

2）需求分析

3）代码实现

• 思路：分别统计每个品类点击的次数，下单的次数和支付的次数。

import org.apache.spark.rdd.RDD
import org.apache.spark.{
   SparkConf, SparkContext}
import scala.collection.mutable.ListBuffer


object Spark01_TopN_req1 {
   
  def main(args: Array[String]): Unit = {
   
    //创建SparkConf并设置App名称
    val conf: SparkConf = new SparkConf().setAppName("SparkCoreTest").setMaster("local[*]")

    //创建SparkContext，该对象是提交Spark App的入口
    val sc: SparkContext = new SparkContext(conf)

    //1.读取数据，创建RDD
    val dataRDD: RDD[String] = sc.textFile("D:\MyWork\IdeaProjects\spark0105_exer\src\main\input\user_visit_action.txt")

    //2.将读到的数据进行切分，并且将切分的内容封装为UserVisitAction对象
    val actionRDD: RDD[UserVisitAction] = dataRDD.map {
   
      line => {
   
        val fields: Array[String] = line.split("_")
        UserVisitAction(
          fields(0),
          fields(1).toLong,
          fields(2),
          fields(3).toLong,
          fields(4),
          fields(5),
          fields(6).toLong,
          fields(7).toLong,
          fields(8),
          fields(9),
          fields(10),
          fields(11),
          fields(12).toLong
        )
      }
    }

    //3.判断当前这条日志记录的是什么行为，并且封装为结果对象    (品类,点击数,下单数,支付数)==>例如：如果是鞋的点击行为  (鞋,1,0,0)
    //(鞋,1,0,0)
    //(保健品,1,0,0)
    //(鞋,0,1,0)
    //(保健品,0,1,0)
    //(鞋,0,0,1)=====>(鞋,1,1,1)
    val infoRDD: RDD[CategoryCountInfo] = actionRDD.flatMap {
   
      userAction => {
   
        //判断是否为点击行为
        if (userAction.click_category_id != -1) {
   
          //封装输出结果对象
          List(CategoryCountInfo(userAction.click_category_id + "", 1, 0, 0))
        } else if (userAction.order_category_ids != "null") {
   
          //坑：读取的文件应该是null字符串，而不是null对象
          //判断是否为下单行为,如果是下单行为，需要对当前订单中涉及的所有品类Id进行切分
          val ids: Array[String] = userAction.order_category_ids.split(",")
          //定义一个集合，用于存放多个品类id封装的输出结果对象
          val categoryCountInfoList: ListBuffer[CategoryCountInfo] = ListBuffer[CategoryCountInfo]()
          //对所有品类的id进行遍历
          for (id <- ids) {
   
            categoryCountInfoList.append(CategoryCountInfo(id, 0, 1, 0))
          }
          categoryCountInfoList
        } else if (userAction.pay_category_ids != "null") {
   
          //支付
          val ids: Array[String] = userAction.pay_category_ids.split(",")
          //定义一个集合，用于存放多个品类id封装的输出结果对象
          val categoryCountInfoList: ListBuffer[CategoryCountInfo] = ListBuffer[CategoryCountInfo]()
          //对所有品类的id进行遍历
          for (id <- ids)