day80sparkSQL网站搜索综合实例

原创 2016年08月30日 01:06:10


目的:找出搜索平台上用户明天搜索排名前五名的产品

1、原始的ETL过滤数据后产生目标数据

广播的原理,过滤是发生在work

2、对过滤后的目标数据进行指定条件的查询,查询条件又可能非常复杂(进行广播(广播过滤条件)),进行RDD的filter的算子;

3、对于商品时分为种类的,我们在得出最终结果之前,首先会基于商品UV(对于用户访问商品的PV)

  此时我们要对商品进行UV计算的话,必须构建K-V的RDD,例如过程构建成为(date#Item(性能考虑字段组拼), userID)以方便进行grouoByKey的操作。

               在调用了groupByKey之后对user进行去重,并计算出每一天每一种商品的UV,最终计算出来的结果的数据类型(date#Item, userID)

4、使用开窗函数row_number 统计出每日商品UV前5名的内容row_number() over (parition By date order by uv desc ) rank

此时会产生以date、item uv为row的DataFrame

5、根据日期进行分组并分析出每天排名前5位的热搜索Item

6、进行key-value交换,然后进行调用sortBykey进行电击热度排名

7再次进行key-value交换,得出目标数据,得出目标数据(date#item, UV)的格式

8、通过RDD直接操作Mysql吧结果放入生产系统中的DB中,通过javaee 等servlet技术实现先可视化结果供市场营销人员、调度仓库、管理人员使用数据

当然可以放在hive中,JavaEE等技术通过JDBC等连接访问hive;

可以放在sparkSQL中,通过 Thrift技术提供JavaEE 使用等。

如果是双十一的时候一般首选放在redis中,这样可以实现类似秒杀系统的响应速度

HTML表单综合实例

LAMP学员基本信息 LAMP学员基本信息 姓名: 性别: ...
  • ALL_Dash
  • ALL_Dash
  • 2013年08月03日 12:02
  • 882

《java入门第一季》之面向对象综合小案例

需求: /*     教练和运动员案例         乒乓球运动员和篮球运动员。         乒乓球教练和篮球教练。         跟乒乓球相关的人员都需要学习英语。       ...
  • qq_32059827
  • qq_32059827
  • 2016年05月07日 15:10
  • 703

二十五、为你的网站添加强大的搜索功能

当你的网站文章内容变多时,搜索的需求会逐渐显现,mysql的like功能无论从性能还是效果上都是一个山寨的实现,本节帮你集成elasticSearch实现专业的搜索功能 请尊重原创,转载请注明来源网...
  • jiangjingxuan
  • jiangjingxuan
  • 2017年01月25日 11:50
  • 499

如何搜索某一特定网站的内容

语法格式: site : 网址 关键词  或者 关键词 site : 网址 注意事项: 1、site:后边跟的冒号必须是英文的“:”,中文的全角冒号“:”无用 2、url前不能带ht...
  • chengyakun11
  • chengyakun11
  • 2013年03月21日 10:07
  • 1714

Spark SQL网站搜索综合案例实战

以京东为例找出搜索平台上用户每天搜索排名5名的产品,The hottest!   用户登录京东网站,在搜索栏搜索的时候,将用户每天搜索排名前5名的商品列出来。     一:生成模拟京东用户搜索...
  • a11a2233445566
  • a11a2233445566
  • 2017年01月23日 17:02
  • 292

Spark Streaming基于案例详解

本篇博文将从如下几点组织文章: 一:案例演示 二:源码分析一:案例演示 这里只是贴出源码,后续会对改代码的实战和实验演示都会详细的补充。package com.dt.spark.sparkstr...
  • snail_gesture
  • snail_gesture
  • 2016年05月10日 22:35
  • 7592

*PyQt4 精彩实例分析* 实例17 综合布局实例

本实例综合应用前面介绍的布局方法实现一个复杂的窗口布局,实现效果图如下所示。其中包括了基本布局,分割窗以及堆栈窗。 首先对整个窗体的构成进行一个整体的分析。最外层的是一个...
  • wdt3385
  • wdt3385
  • 2013年09月22日 10:04
  • 929

实例讲解linux用户,组,文件目录权限

用户就是操作系统的管理员,每个用户操作系统的权限都不一样,root用户权限最大。多个用户形成一个组。用户不同,组别不同对文件目录的操作权限就不同,下面已具体实例来说明用户,组还有文件目录权限,然后自己...
  • yingxiake
  • yingxiake
  • 2016年05月17日 23:09
  • 465

综合交易平台API技术开发指南

综合交易平台API技术开发指南  第一章CTP 产品特性  1. 如何获取综合交易平台(Comprehensive Transaction Platform 以下简称 CTP)证券(期 ...
  • i7thTool
  • i7thTool
  • 2015年04月22日 11:04
  • 2701

shiro框架之综合实例

简单的实体关系图   简单数据字典 用户(sys_user) 名称 类型 长度 描述 id bigint ...
  • Dome_
  • Dome_
  • 2017年12月04日 08:16
  • 147
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:day80sparkSQL网站搜索综合实例
举报原因:
原因补充:

(最多只允许输入30个字)