![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Spark项目学习笔记之电商用户行为分析
Spark项目学习笔记之电商用户行为分析
一角残叶
人生如逆旅,我亦是行人
展开
-
Spark电商用户行为分析(3)—— 基于IDEA 新建 Maven 工程
1 基于 IDEA 新建 Maven 工程pom 文件<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaL...原创 2019-02-21 14:41:59 · 445 阅读 · 0 评论 -
Spark电商用户行为分析(4)—— coding开发(1)
1 配置管理组件 ConfigurationManager 开发2 JDBC 原理介绍和增删改查2.1 JDBCJava Database Connectivity, Java数据库连接技术JDBC 只是代表了 JDK 提供的一套面向数据库的接口,意义在于通过接口统一了Java 程序对各种数据库的访问规范;数据库厂商提供JDBC驱动;2.2 JDBC 使用过程加载驱动类, Cl...原创 2019-02-22 10:18:49 · 600 阅读 · 0 评论 -
Spark电商用户行为分析(5)—— 数据库连接池
1 数据库连接池1.1 直接连接数据库每一次java程序要在MySQL中执行一条SQL语句,那么就必须建立一个Connection对象,代表了与MySQL数据库的连接。然后在通过连接发送了你要执行的SQL语句之后,就会调用Connection.close()来关闭和销毁与数据库的连接。为什么要立即关闭呢?因为数据库的连接是一种很重的资源,代表了网络连接、IO等资源。所以如果不使用的话,就需要...原创 2019-02-22 10:37:02 · 927 阅读 · 0 评论 -
Spark电商用户行为分析(6)——单例设计模式
1 单例设计模式/* * 自己定义的类,默认情况下,外界代码可以随意创建多个实例,但是有些时候,不希望外界随意创建实例, * 在整个程序运行期间,只有一个实例 * * 实现单例模式,要点: * 1. 类的构造方法必须是 private * * 2. 外界代码要获取类的实例,不能够随意创建,只能通过调用类的静态方法去获取类的实例; * * 3. 所以类必须有一个静态方法,ge...原创 2019-02-22 11:04:18 · 436 阅读 · 0 评论 -
Spark电商用户行为分析(7)—— 内部类和匿名内部类
1 内部类内部类,顾名思义,就是包含在外部类中的类,就叫做内部类。内部类有两种,一种是静态内部类,一种是非静态内部类。public class School { private static School instance = null; static class Teacher {}}public class School { private String name; ...原创 2019-02-22 12:22:44 · 368 阅读 · 0 评论 -
Spark电商用户行为分析(8)——JDBC辅助组件开发,JavaBean,DAO模式
1原创 2019-02-24 09:29:55 · 291 阅读 · 0 评论 -
Spark电商用户行为分析(9)—— 工厂模式和 DAOFactory开发,json 数据格式和 fastjson 介绍
1 工厂模式如果没有工厂模式,可能会出现的问题:ITaskDAO接口和TaskDAOImpl实现类;实现类是可能会更换的;那么,如果就使用普通的方式来创建DAO,比如ITaskDAO taskDAO = new TaskDAOImpl(),那么后续,如果你的TaskDAO的实现类变更了,那么就必须在程序中,所有出现过TaskDAOImpl的地方,去更换掉这个实现类。这是非常非常麻烦的。如果说T...原创 2019-02-24 10:23:46 · 319 阅读 · 0 评论 -
Spark电商用户行为分析(1)—— 环境搭建
1 项目模块介绍用户访问session分析:该模块主要是对用户访问session进行统计分析,包括session的聚合指标计算、按时间比例随机抽取session、获取每天点击、下单和购买排名前10的品类、并获取top10品类的点击量排名前10的session。该模块可以让产品经理、数据分析师以及企业管理层形象地看到各种条件下的具体用户行为以及统计指标,从而对公司的产品设计以及业务发展战略做出...原创 2019-02-20 15:31:40 · 994 阅读 · 0 评论 -
Spark电商用户行为分析(2)——用户访问 session 分析
1 用户访问 session 分析模块介绍可以根据使用者指定的某些条件,筛选出指定的一些用户(有特定年龄、职业、城市);对这些用户在指定日期范围内发起的session,进行聚合统计,比如,统计出访问时长在0~3s的session占总session数量的比例;按时间比例,比如一天有24个小时,其中12:00~13:00的session数量占当天总session数量的50%,当天总sessio...原创 2019-02-21 10:36:12 · 1516 阅读 · 0 评论