![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Spark项目系列篇
贾红平
本人喜欢技术,一致从事于大数据搜索推荐系统架构及其相关工作,最近几年开始熟悉人工智能和机器学习领域,擅长高可用高并发系统架构设计..技术的追求从没有停止过..
展开
-
spark 项目应用-topn搜索热词统计
本文章通过spark读取hive数据,分析top热点搜索词import java.util.ArrayList; import java.util.Arrays; import java.util.HashMap; import java.util.Iterator; import java.util.List; import java.util.Map; import org.apache.s...原创 2018-04-16 09:29:13 · 1423 阅读 · 0 评论 -
spark项目应用-新闻网站关键指标离线分析
本文章主要通过spark sql实现新闻网站关键指标的离线分析功能1 页面pv统计以及排序2 页面uv统计以及排序3 新用户注册比例统计4 用户跳出比例统计5 板块热度排行榜统计首先需要生成对应的访问数据import java.io.FileOutputStream; import java.io.OutputStreamWriter; import java.io.PrintWriter; im...原创 2018-04-16 09:28:37 · 862 阅读 · 0 评论 -
spark 实际项目分析-移动端app日志
本文章是企业的一个真实案例简化而来的,主要是统计那个用户的下载流量和上传流量,从而真实分析出每个用户的流量使用情况为完成此功能需要4个类1 AccessLogInfo.java: 用户流量实体信息public class AccessLogInfo implements Serializable { private static final long serialVersionUID = ...原创 2018-04-15 15:57:14 · 1049 阅读 · 1 评论 -
spark排序版本的woldcount
通过代码实现woldcount统计且根据count进行排序package cn.spark.study.core; import java.util.Arrays; import org.apache.spark.SparkConf; import org.apache.spark.api.java.JavaPairRDD; import org.apache.spark.api.java.J...原创 2018-04-15 14:56:54 · 186 阅读 · 0 评论 -
spark 单词统计
本文通过代码实现spark的本地wordcount统计功能和集群模式的worldcount统计功能public class WordCountLocal { public static void main(String[] args) { // 编写Spark应用程序 // 本地执行,是可以执行在eclipse中的main方法中,执行的 ...原创 2018-04-15 14:53:30 · 530 阅读 · 0 评论