spark
lhui798
这个作者很懒,什么都没留下…
展开
-
第4课版本定制:Spark Streaming事务处理彻底掌握
本期内容1、Exactly Once2、输出不重复事务:银行转帐为例,A用户转账给B用户,B用户可能收到多笔钱,如何保证事务的一致性,也就是说事务输出,能够输出且只会输出一次,即A只转一次,B只收一次。从事务视角解密SparkStreaming架构:SparkStreaming应用程序启动,会分配资源,除非整个集群硬件资源崩溃,一般情况下都不会有问题原创 2016-05-05 11:15:17 · 986 阅读 · 0 评论 -
第3课:SparkStreaming 透彻理解三板斧之三:解密SparkStreaming运行机制和架构进阶之Job和容错
本期内容:1、解密Spark Streaming Job架构和运行机制2、解密Spark Streaming容错架构和运行机制理解SparkStreaming的Job的整个架构和运行机制对于精通SparkStreaming是至关重要的。我们知道对于一般的Spark应用程序来说,是RDD的action操作触发了Job的运行。那对于SparkStreaming来说,Job是怎么样运行的呢?原创 2016-05-04 21:39:13 · 640 阅读 · 0 评论 -
Spark版本定制第2天:通过案例对SparkStreaming透彻理解之二
本期内容:1 解密Spark Streaming运行机制2 解密Spark Streaming架构 一切不能进行实时流处理的数据都是无效的数据。在流处理时代,SparkStreaming有着强大吸引力,而且发展前景广阔,加之Spark的生态系统,Streaming可以方便调用其他的诸如SQL,MLlib等强大框架,它必将一统天下。 Spark Streaming运行时与其说是S原创 2016-05-03 18:39:47 · 916 阅读 · 0 评论 -
Spark版本定制第1天:通过案例对SparkStreaming透彻理解之一
1原创 2016-05-03 18:23:07 · 663 阅读 · 0 评论 -
版本定制第5课:基于案例一节课贯通Spark Streaming流计算框架的运行源码
本期内容:1、在线动态计算分类最热门商品案例回顾与演示2、基于案例贯通Spark Streaming的运行源码第一部分案例:package com.dt.spark.sparkstreamingimport com.robinspark.utils.ConnectionPoolimport org.apache.spark.SparkConfim原创 2016-05-07 23:53:24 · 5457 阅读 · 0 评论 -
scala中的var,val,immutable,mutable理解小结
最近项目要用到spark平台,无论是看源码还是写程序都需要用scala语言,接触了两天之后,对映射Map这里有点疑问,做了点测试之后记一记自己的想法。 首先,在scala中定义变量有var和val两种方式,前者定义一个可变量,后者定义一个不可变量,类似Java中的final或者C++中的const,如图1的示例可展示两者的区别。图1 尝试改变一个转载 2016-09-08 15:58:01 · 597 阅读 · 0 评论