![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
EnderWang
这个作者很懒,什么都没留下…
展开
-
Spark demo
这两天公司准备搭建大数据平台以日志分析为例,大概流程是:1.数据分析平台提供接口供其他系统调用写入日志2.flume收集日志用kafka做sink3.spark分析日志,结果输出HBase下面是spark相关的一些简单demo,在此记录maven引入所需包 <dependencies> <dependency> <g...原创 2019-05-16 17:26:57 · 1005 阅读 · 0 评论 -
大数据分析架构本地环境搭建及测试
功能:log日志收集和分析流程:1.应用程序产生本地log文件 2.flume监控文件并收集日志到kafka中 3.sparkStructurestreaming监听kafka获取结构流进行分析,结果输出到DB 4.页面通过查询DB显示结果环境搭建:1.flume(apache-flume-1.9.0-bin)...原创 2019-05-22 15:12:32 · 492 阅读 · 0 评论 -
Druid摄取kafka实时流json配置
{ "type": "kafka", //摄取类型 "dataSchema": { "dataSource": "ea-test", //数据源名 "parser": { "type": "string", "parse...原创 2019-06-04 10:06:51 · 1153 阅读 · 0 评论