![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
学习笔记
文章平均质量分 81
wjcaitu
这个作者很懒,什么都没留下…
展开
-
Spark学习日志4
Spark Stream学习总结:1. Spark Stream 基于DStream,离散化数据流来处理流数据。相当于RDD对于Spark而言。DStream本质上是有一串时间上离散的RDD组成。2. 要处理流数据,首先要创建一个StreamContext, 而StreamContext在底层会创建出SparkContext,以下例子是创建一个streamContext,其中第二个参数原创 2017-02-04 21:45:25 · 330 阅读 · 0 评论 -
Spark 学习日志- SparkContext初始化
SparkContext初始化会主要涉及到以下内容:1. Spark Env的初始化2. 启动一个Task Scheduler3. 启动DAG Scheduler4. 启动schedule backend5. Web UI初始化env: // Create the Spark execution environment (cache, map output tracke原创 2017-02-11 21:19:38 · 381 阅读 · 0 评论 -
logstash知识梳理 - Persisted Queue
Persisted Queue默认情况下logstash会将在处在pipeline各个stage的event buffer在内存中, 这种buffer方式,在logstash意外down掉的情况下会丢失数据.因此logstash引入了Persisted Queue这种方式, 能将event buffer在磁盘上. 比如直接将queue的文件路径设置为/usr/lib/logstash/queu...翻译 2019-07-15 14:45:15 · 1142 阅读 · 0 评论