spark
dreaper126
这个作者很懒,什么都没留下…
展开
-
spark streaming应用场景(一) 日志分析
日志分析场景:日志数据 访问IP,URL,耗时统计每个URL在最近一分钟的访问次数,平均耗时解决方案 将日志数据导入kafka, 通过spark streaming 从kafka中将数据抽取出来,实时统计一分钟内每个接口的访问次数,及平均耗时,将结果打印出来实现代码val conf = new SparkConf().setAppName("log").setMaster("local原创 2016-01-11 11:38:15 · 3650 阅读 · 0 评论 -
大数据基础架构方案
大数据架构方案,主要包括整个大数据的软件栈,主要功能包括:数据抽取,数据存储,数据分析,数据挖掘下面是整个架构设计图: 数据抽取 关系型数据库,通过sqoop导入 日志文件通过flume导入数据存储 采用hdfs,hbase等为数据存储的主体 对于文本检索则采用es/solr等搜索技术 分析后的结果数据可以采用关系型数据库存储数据分析 采用spark,mapreduce,storm等原创 2016-06-07 00:09:48 · 7325 阅读 · 0 评论