架构师的成长之路的博客

QQ群:架构师的成长之路 (688324454)。博客github地址:https://github.com/csy512889371/learnDoc...

实时项目统计实战之三

实时项目统计实战之三更多干货分布式实战(干货)spring cloud 实战(干货)mybatis 实战(干货)spring boot 实战(干货)React 入门实战(干货)构建中小型互联网企业架构(干货)python 学习持续更新ElasticSearch 笔记kafka storm 实战 (...

2018-05-08 12:02:46

阅读数:382

评论数:0

Spark Streaming 中使用 zookeeper 保存 offset 并重用

在 Spark Streaming 中消费 Kafka 数据的时候,有两种方式分别是 1)基于 Receiver-based 的 createStream 方法和 2)Direct Approach (No Receivers) 方式的 createDirectStream 方法,详细的可以参考 ...

2017-03-17 20:15:28

阅读数:451

评论数:0

Spark Streaming事务处理彻底掌握

本篇文章主要从二个方面展开: 一、Exactly Once 二、输出不重复 事务: 银行转帐为例,A用户转账给B用户,B用户可能收到多笔钱,如何保证事务的一致性,也就是说事务输出,能够输出且只会输出一次,即A只转一次,B只收一次。 从事务视角解密SparkStream...

2017-03-17 20:04:47

阅读数:175

评论数:0

Spark磁盘空间满了

Spark使用一段时间后,发现磁盘空间没有了,尤其是运行SparkStreaming Spark streaming在不断的写日志,日志将磁盘撑满了。无论磁盘空间多大,都会撑破的。有时运行一个晚上,有时运行一个上午,磁盘写满了。 1、配置log最大的保存文件大小!!最多保存多少文件! 2、配置每一...

2017-03-17 19:33:00

阅读数:226

评论数:0

Kafka+Spark Streaming+Redis实时计算整合实践

基于Spark通用计算平台,可以很好地扩展各种计算类型的应用,尤其是Spark提供了内建的计算库支持,像Spark Streaming、Spark SQL、MLlib、GraphX,这些内建库都提供了高级抽象,可以用非常简洁的代码实现复杂的计算逻辑、这也得益于Scala编程语言的简洁性。这里,我们...

2017-03-17 19:02:03

阅读数:195

评论数:0

从零开始学习,Apache Spark源码走读(一)

摘要:自2013年6月进入Apache孵化器,Spark已经有来自25个组织的120多位开发者参与贡献。而在不久前,更成为了Apache软件基金会的顶级项目,当下已是知名Hadoop开发商Cloudera和MapR的新宠。 Spark是发源于美国加州大学伯克利分校AMPLab的集群计算平台,它...

2017-03-16 17:28:04

阅读数:131

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭