Spark
文章平均质量分 82
cary_1991
这个作者很懒,什么都没留下…
展开
-
Spark RDD揭秘
详细解析SPARK内核揭秘原创 2016-04-07 09:52:04 · 1156 阅读 · 0 评论 -
使用java开发spark实战
课程内容 使用java开发spark 实战 一:环境搭建 安装jdk 和maven。1. 安装jdk并配置环境变量系统变量→新建 JAVA_HOME 变量 。变量值填写jdk的安装目录(本人是E:\Java\jdk1.7.0)系统变量→寻找 Path 变量→编辑在变量值最后输入 %JAVA_HOME%\bin;%JAVA_HOME%\jre\bin;(注意原创 2016-04-26 16:42:24 · 7343 阅读 · 1 评论 -
本课分2部分讲解: 第一部分,讲解Kafka的概念、架构和用例场景; 第二部分,讲解Kafka的安装和实战。 由于时间关系,今天的课程只讲到如何用官网的例子验证Kafka的安装是否成功。后续课程
本课分2部分讲解:第一部分,讲解Kafka的概念、架构和用例场景;第二部分,讲解Kafka的安装和实战。由于时间关系,今天的课程只讲到如何用官网的例子验证Kafka的安装是否成功。后续课程会接着讲解如何集成Spark Streaming和Kafka。一、Kafka的概念、架构和用例场景http://kafka.apache.org/documentation原创 2016-04-26 16:44:57 · 1738 阅读 · 0 评论 -
通过案例对SparkStreaming透彻理解三板斧之一
I.Spark Streaming另类在线实验II.瞬间理解Spark Streaming本质扩展Spark的内容来适合自己的业务模型,自己能够进行框架的维护,就好比你拿到一个开源源代码,即使你编译引用库,那么你后期的维护和后期的扩展都会受到极大的限制,如果你自己依据于Spark的源码进行改造,那么自己后期的维护和扩展都是依赖于自己的设计来适合公司的业务逻辑,从而方便维护和可扩展Spa原创 2016-05-04 21:16:16 · 3829 阅读 · 0 评论 -
通过案例对SparkStreaming透彻理解三板之二
1.解密Spark Streaming运行机制2.解密Spark Streaming架构I.Spark Core是基于RDD形成的,RDD之间都会有依赖关系,Spark Streaming在RDD上的时间维度,DStream就是在RDD的基础之上加上了时间维度。DStream就是RDD的模板,随着时间的流逝不断地实例化DStream,以数据进行填充DStream Graph,静态的原创 2016-05-06 23:44:06 · 998 阅读 · 0 评论 -
解密SparkStreaming运行机制和架构分析
解密Spark Streaming Job架构和运行机制解密Spark Streaming容错架构和运行机制作业的生成肯定是一个动态的生成private[streaming]valgraph: DStreamGraph = { if(isCheckpointPresent) { cp_.graph.se原创 2016-05-08 16:44:38 · 1903 阅读 · 0 评论 -
Spark Streaming事务处理彻底掌握
Exactly once输出不重复A.课程的目的:根据自己的业务需要,定制开发自己需要的Spark版本,包括Spark Bug的修复,性能的改进,功能的扩展,总之适合自己公司的维护,便于简单易理解,易维护。B.事务处理,比如银行转账,事务的输入和输出都应该保证事务一致一方面处理能够处理,且只被处理一次,输出能够输出且只能输出一次一原创 2016-05-08 17:15:06 · 964 阅读 · 0 评论