目录
本篇文章记录获取统计指定统计指定注册时间范围内头7天访问次数最高的10个用户,使用SparkSession来分析数据。
代码
UserActiveDegreeAnalyze.scala
package graduation.scala.spark import org.apache.spark.SparkConf import org.apache.spark.sql.SparkSession /** * FileName: UserActiveDegreeAnalyze * Author: hadoop * Email: 3165845957@qq.com * Date: 19-8-4 下午11:31 * Description: * * 用户活跃度分析 * * 我们这次项目课程的升级,也跟spark从入门到精通的升级采取同步,采用scala+eclipse的方式来开发 * * 我个人而言,还是觉得应该用java去开发spark作业,因为hadoop是最重要的大数据引擎,hadoop mapreduce、hbase,全都是java * 整个公司的编程语言技术栈越简单越好,降低人员的招聘和培养的成本 * * 但是由于市面上,现在大部分的公司,做spark都是采取一种,spark用scala开发,所以开发spark作业也用scala * 课程为了跟市场保持同步,后面就随便采取scala来开发了 * */ object UserActiveDegreeAnalyze { case class UserActionLog(logId: Long, userId: Long, actionTime: String, actionType: Long, purchaseMoney: Double) case class UserActionLogVO(logId: Long, userId: Long, actionValue: Long) case class UserActionLogWithPurchaseMoneyVO(logId: Long, userId: Long, purchaseMoney: Double) def main(args: Array[String]) { // 如果是按照课程之前的模块,或者整套交互式分析系统的架构,应该先从mysql中提取用户指定的参数(java web系统提供界面供用户选择,然后java web系统将参数写入mysql中) // 但是这里已经讲了,之前的环境已经没有了,所以本次升级从简 // 我们就直接定义一个日期范围,来模拟获取了参数 val startDate = "2019-08-01"; val endDate = "2019-09-01"; // 开始写代码 // spark 2.0具体开发的细节和讲解,全部在从入门到精通中,这里不多说了,直接写代码 // 要不然如果没有看过从入门到精通的话,就自己去上网查spark 2.0的入门资料 val conf = new SparkConf().setAppName("UserActiveDegreeAnalyze").setMaster("local[2]") /*val spark = SparkSession .builder() .appName("UserActiveDegreeAnalyze") .master("local") .config("spark.sql.warehouse.dir", "D:\\test\\spark\\mall\\spark-warehouse") .getOrCreate()*/ val spark = SparkSession.builder().config(conf).getOrCreate() val sc = spark.sparkContext // 导入spark的隐式转换 import spark.implicits._ // 导入spark sql的functions import org.apache.spark.sql.functions._ val dataPath:String ="/home/hadoop/IdeaProjects/BigDataGraduationProject/log/" // 获取两份数据集 val userBaseInfo = spark.read.json(dataPath+"user_base_info.json") val userActionLog = spark.read.json(dataPath+"user_action_log.json") // 第七个功能:统计指定注册时间范围内头7天访问次数最高的10个用户 // 举例,用户通过web界面指定的注册范围是2019-10-01~2019-10-31 //{"logId":5518,"userId":28,"actionTime":"2019-08-05 23:22:39","actionType":1,"purchaseMoney":693.76} //{"userId":36,"userName":"userName36","registTime":"2019-08-05 23:22:38"} val startDateReg = "2019-10-01" val endDateReg = "2019-10-31" userBaseInfo.filter(s"registTime >= '$startDateReg' and registTime <= '$endDateReg'") .join(userActionLog,userActionLog("userId")===userBaseInfo("userId")) .filter(userActionLog("actionTime") >= userBaseInfo("registTime") && userActionLog("actionTime") <= date_add(userBaseInfo("registTime"),7) && userActionLog("actionType") === 1) .groupBy(userBaseInfo("userId"),userBaseInfo("username")) .agg(count(userActionLog("logId")).alias("countLogId")) .sort($"countLogId".desc) .limit(10) .show() sc.stop() spark.stop() } }
运行结果
有时间再贴结果