- 博客(10)
- 资源 (1)
- 收藏
- 关注
RSS订阅转载 Apache Flink流作业提交流程分析
提交流程调用的关键方法链用户编写的程序逻辑需要提交给Flink才能得到执行。本文来探讨一下客户程序如何提交给Flink。鉴于用户将自己利用Flink的API编写的逻辑打成相应的应用程序包（比如Jar）然后提交到一个目标Flink集群上去运行是比较主流的使用场景，因此我们的分析也基于这一场景进行。Flink的API针对不同的执行环境有不同的Environment对象，这里我们主
2016-07-29 16:40:48
764
转载 Flink 原理与实现：如何生成 StreamGraph
继上文Flink 原理与实现：架构和拓扑概览中介绍了Flink的四层执行图模型，本文将主要介绍 Flink 是如何根据用户用Stream API编写的程序，构造出一个代表拓扑结构的StreamGraph的。注：本文比较偏源码分析，所有代码都是基于 flink-1.0.x 版本，建议在阅读本文前先对Stream API有个了解，详见官方文档。StreamGraph 相关的代码主要
2016-07-29 16:17:55
1017
转载 Flink 原理与实现：架构和拓扑概览
要了解一个系统，一般都是从架构开始。我们关心的问题是：系统部署成功后各个节点都启动了哪些服务，各个服务之间又是怎么交互和协调的。下方是 Flink 集群启动后架构图。当 Flink 集群启动后，首先会启动一个 JobManger 和一个或多个的 TaskManager。由 Client 提交任务给 JobManager，JobManager 再调度任务到各个 TaskManager
2016-07-29 15:03:13
3122
转载 深入理解Linux修改hostname
当我觉得对Linux系统下修改hostname已经非常熟悉的时候，今天碰到了几个个问题，这几个问题给我好好上了一课，很多知识点，当你觉得你已经掌握的时候，其实你了解的还只是皮毛。技术活，切勿浅尝则止！实验环境：Red Hat Enterprise Linux Server release 5.7 (Tikanga) ，其它版本Linux可能有所不同。请以实际环境为准。其实我多次修改
2016-07-26 17:23:14
335
转载 使用JMAP dump及分析dump文件
查看整个JVM内存状态 jmap -heap [pid]要注意的是在使用CMS GC 情况下，jmap -heap的执行有可能会导致JAVA 进程挂起查看JVM堆中对象详细占用情况jmap -histo [pid]导出整个JVM 中内存信息jmap -dump:format=b,file=文件名 [pid]jhat是sun 1.6及以上版本中自带的一个用于分
2016-07-25 10:31:03
3311
转载 Flink 原理与实现：Window 机制
Flink 认为 Batch 是 Streaming 的一个特例，所以 Flink 底层引擎是一个流式引擎，在上面实现了流处理和批处理。而窗口（window）就是从 Streaming 到 Batch 的一个桥梁。Flink 提供了非常完善的窗口机制，这是我认为的 Flink 最大的亮点之一（其他的亮点包括消息乱序处理，和 checkpoint 机制）。本文我们将介绍流式处理中的窗口概念，介绍 F
2016-07-19 16:19:18
1042
1
转载 Apache Flink：详细入门
Apache Flink是一个面向分布式数据流处理和批量数据处理的开源计算平台，它能够基于同一个Flink运行时（Flink Runtime），提供支持流处理和批处理两种类型应用的功能。现有的开源计算方案，会把流处理和批处理作为两种不同的应用类型，因为他们它们所提供的SLA是完全不相同的：流处理一般需要支持低延迟、Exactly-once保证，而批处理需要支持高吞吐、高效处理，所以在实现的时候通常
2016-07-18 14:59:34
5504
1
转载 mybatis简单运用（基于Annotation）
本文主要介绍了如何使用mybatis进行简单的数据库操作。本文使用的是mybatis3.05。1.创建数据库表（User表）CREATE TABLE User (userId bigint(20) NOT NULL AUTO_INCREMENT ,userName varchar(30) CHARACTER SET utf8 COLLATE utf8_general_ci NO
2016-07-14 17:28:37
439
转载 通过Java/JMX得到full GC次数
今天有个同事问如何能通过JMX获取到某个Java进程的full GC次数： 引用hi,问个问题，怎们在java中获取到full gc的次数呢？ 我现在用jmx的那个得到了gc次数，不过不能细化出来full gc的次数 Java代码 for (final GarbageCollectorMXBean garbageCollector
2016-07-11 10:20:34
6499
转载 深入ASM源码之ClassReader、ClassVisitor、ClassWriter
概述ASM是Java中比较流行的用来读写字节码的类库，用来基于字节码层面对代码进行分析和转换。在读写的过程中可以加入自定义的逻辑以增强或修改原来已编译好的字节码，比如CGLIB用它来实现动态代理。ASM被设计用于在运行时对Java类进行生成和转换，当然也包括离线处理。ASM短小精悍、且速度很快，从而避免在运行时动态生成字节码或转换时对程序速度的影响，又因为它体积小巧，可以在很多内存受限的环境
2016-07-08 09:22:03
2010
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人