![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Spark
文章平均质量分 82
Wang_Zhenwei
这个作者很懒,什么都没留下…
展开
-
Spark学习1_【Spark六十一】Spark Streaming组合Flume、Kafka进行日志分析
【Spark六十一】Spark Streaming结合Flume、Kafka进行日志分析 第一步,Flume和Kakfa对接,Flume抓取日志,写到Kafka中 第二部,Spark Streaming读取Kafka中的数据,进行实时分析 本文首先使用Kakfa自带的消息处理(脚本)来获取消息,走通Flume和Kafka的对接 1. Flume配置 1. 下转载 2015-09-28 10:00:05 · 1641 阅读 · 0 评论 -
Spark学习2_Spark源码分析:多种部署方式之间的区别与联系
作者:过往记忆 从官方的文档我们可以知道, Spark 的部署方式有很多种:local、Standalone、Mesos、YARN…..不同部署方式的后台处理进程是不一样的,但是如果我们从代码的角度来看,其实流程都差不多。 从代码中,我们可以得知其实 Spark 的部署方式其实比官方文档中介绍的还要多,这里我来列举一下: 1、local:这种方式是在本地启转载 2016-10-13 14:47:52 · 510 阅读 · 0 评论