spark
文章平均质量分 50
wmky_kk
不积跬步,无以至千里;不积小流,无以成江海. 《荀子•劝学篇》
展开
-
Lamda架构-分析日志流水线
Lamda架构 前言:日志分析中既有离线大规模需求,也有实时性需求,因此需要采用Lamda架构(目的是为大数据分析应用程序提供一个低响应延迟的组合数据环境)构建日志分析流水线。原创 2017-03-28 09:28:50 · 1193 阅读 · 0 评论 -
spark在windows本地调试
spark程序在windows下本地调试前言: 在最初接触spark分布式平台程序开发时,如何快速的调试spark应用程序,提高开发效率尤为重要。正所谓兵马未动,粮草先行。因此接下来开始准备高效的spark开发环境。原创 2017-03-27 22:35:56 · 3714 阅读 · 0 评论 -
互联网日志分析技术及分析指标
日志分析必要性 日志格式 传统单机日志数据分析 大规模分布式日志分析日志分析指标网站运营日志分析常用指标 PV Page View UV Unique Visitor PVUV Page View Per User 漏斗模型与转化率 留存率 用户属性终极目标使用界面展示原创 2017-03-23 23:49:39 · 4602 阅读 · 1 评论 -
spark-submit ClassNotFoundException的问题解决
I wrote a spark program with scala,but when I use “spark-submit” to submit my project, I met the java.lang.ClassNotFoundException. 注意提交的spark-submit的 –class参数必须要完整的代码package包名.scala文件名组合。原创 2017-03-26 10:27:54 · 11177 阅读 · 2 评论