- 博客(10)
- 资源 (1)
- 收藏
- 关注
原创 关于kafka Consumer参数:exclude.internal.topics
之前对这个参数一直理解有误,彻底搞清楚后就写个笔记记录一下。(基于kafka1.0)先看官方文档的解释:Whether records from internal topics (such as offsets) should be exposed to the consumer. If set to true the only way to receive records from an i...
2017-12-19 11:42:32
2894
1
原创 github----向开源框架提交pr的过程
github—-向开源框架提交pr关于github的入门介绍请参考这本书,比较详细:本文主要是根据自己在摸索提交pr的程中的一些总结。简单过程首先git分为本地仓库(自己电脑中)和远程仓库(git官网自己的账号中),仓库可以理解为保存代码的地方,简单的说是在自己本地仓库修改代码,提交到自己远程仓库,提交pr后被接受后再会被合并到master。下面一步一步来。详细过程申请账号、添加ssh公钥等过程就不
2017-10-20 22:44:50
42498
12
翻译 Flink入门教程--File Systems(文件系统)
原文链接:https://ci.apache.org/projects/flink/flink-docs-release-1.3/internals/filesystems.html#file-systemsFlink通过org.apache.flink.core.fs.FileSystem类来抽象自己的文件系统,这个抽象提供了各类文件系统实现的通用操作和最低保证。此文件系统的可用操作非常有限,以支
2017-09-14 15:20:27
5170
翻译 Flink入门教程--Task Lifecycle(任务的生命周期简介)
原文链接:https://ci.apache.org/projects/flink/flink-docs-release-1.3/internals/task_lifecycle.html#task-lifecycle-1 如有错误,请指正task是Flink中执行的基本单位,也是operator的每个并行实例被执行的地方。例如,并行度为5的operator ,其每个实例都由一个单独task执行。
2017-09-13 19:42:49
3625
翻译 Flink入门教程--Jobs and Scheduling(任务和调度)
原谅链接:https://ci.apache.org/projects/flink/flink-docs-release-1.3/internals/job_scheduling.html#jobs-and-scheduling该文档简单描述了Flink是如何调度Job的,以及如何在JobManager上表现并跟踪Job状态。调度Flink通过任务槽(Task Slot)定义执行资源,每个TaskM
2017-09-12 11:49:43
13688
3
转载 Flink入门教程--Data Streaming Fault Tolerance(数据流容错)
Data Streaming Fault Tolerance(数据流容错)原谅链接:https://ci.apache.org/projects/flink/flink-docs-release-1.3/internals/stream_checkpointing.html#data-streaming-fault-toleranceIntroduceApache Flink 提供了可以恢复数据流应
2017-09-11 11:43:52
669
翻译 Flink入门教程--Component Stack
作为一个软件解决方案,Flink是一个分层系统。不同层次之间彼此构建,并提高他们接受的程序表现的抽象级别:在Runtime 层中接受JobGraph形式的程序。JobGraph是一个具有消耗和产生数据流的任意通用并行数据流。DataStream API和DataSet API都能通过编译生成JobGraphs程序。DataSet API使用optimizer ,DataStream API使用s
2017-09-11 11:28:51
603
转载 认识bash shell
认识bash shell(转自《鸟哥的Linux私房菜–基础篇》)文字模式 (command line) 这种指令下达的方式,在 Linux 里面,其实就相当于是 bash 的工具与接口! 因为 Linux 就是以 bash 为预设的 shell 的!那么前几章我们都已经很快乐的进行了很多的指令下达啰~ 所以说, bash shell 根本就不难吧~是啦!只要能够熟悉的话,那么确实他也不是这么不可亲
2017-08-15 16:20:46
527
原创 Storm Window机制详解
概念window 类型Tumbling Window按照固定的时间间隔或者Tuple数量划分窗口。例子一,按照固定时间滚动,5秒滚一个窗口:| e1 e2 | e3 e4 e5 e6 | e7 e8 e9 |...0 5 10 15 -> time| w1 | w2 | w3 |...例子二,按照固定
2017-07-23 11:15:47
1178
1
原创 Trident exactly once实现原理
为了实现exactly-once,storm0.7.0开始支持transactional toplogy(事务topology),也是微批处理架构,但目前已经不再维护(基本没有人用),功能完全被trident所替代。准确的说,trident topology是从transactional topology的基本上发展而来,包括spout和state都延用的transactional topology
2017-07-23 09:48:06
2059
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人