Flink
文章平均质量分 95
haixwang
。。。。。。
展开
-
(三):Flink数据流编程模型
前言仍然是学概念,以下大部分是对官方doc的翻译,但是也会有些个人的理解(主要是对比Spark),以及查找的一些解决自己的一些疑惑相关资料。从Flink 的数据流编程模型和分布式运行环境的基本概念开始学习会对您了解其他部分的文档有帮助,包括安装以及编程指南。强烈推荐先阅读这两部分文档。数据流编程模型抽象级别Flink提供了不同的抽象级别以支持开发流式、批处理等应用。最底层级的抽象仅...原创 2018-10-01 16:41:30 · 1355 阅读 · 0 评论 -
(四): Flink1.6.1 standalone集群模式安装部署,几个常用参数配置
文章目录NameNode检查点异常Flink1.6.1安装前提配置Flink配置master节点JVM内存slavestaskmanager.numberOfTaskSlotsjobstore.cache临时I/O目录启动集群将JobManager / TaskManager实例添加到群集Maven依赖参考NameNode检查点异常安装flink之前,观察到一个NameNode检查点异常:...原创 2018-10-03 21:50:02 · 2139 阅读 · 0 评论 -
(五)Flink小demo,java+scala,SBT+Maven,socket拒绝访问
Demo-Scala_SBT使用SBT构建flink的Scala项目:1.新建一个scala-SBT项目2.Next目前idea使用的sbt版本为0.13.X系列与我本地的1.0.0版本不同,但是不要紧,不影响执行命令时,会使用本地的SDK。【官方目前主要维护的版本有两个:0.13.X和1.X。需要注意的是,IDEA上的SBT插件暂时是随着0.13.X系列更新的,而我本地是1.0.0】...原创 2018-10-05 23:37:02 · 1911 阅读 · 0 评论 -
(一):小白的Flink学习计划以及进度表
文章目录学习计划第一阶段看视频看博客官方doc第二阶段看书看英文博客定期研究某一主题大一点的demo或者实践第三阶段源码正在开发的特性 || 会议进度表第一阶段视频学习计划以下几个阶段,其实并不是这么界限分明(比如你在学视频时,也完全可以看书看源码什么的),这只是我的大致划分,适合自己的才是最好的。第一阶段看视频在我看来,看视频是快速的、粗略的掌握该技术的某些要点、能做什么事情、架构...原创 2018-09-30 15:10:53 · 1685 阅读 · 3 评论 -
(二):Flink概述,Flink如何支持批流处理,程序流程
文章目录前言Flink能做什么选择微批处理还是实时处理计算流程(组件)TODO:容错机制的类比、计算资源调度的类比Flink如何支持批流处理参考前言以下都尽量对比Spark(或者大数据生态的其他技术)进行理解Flink能做什么支持批处理交互式处理实时流数据处理支持用SQL分析支持机器学习数据处理后的托管状态(managed state)以及仅一次交付(exactly-once...原创 2018-09-30 15:11:44 · 4542 阅读 · 1 评论 -
(六):Flink 编程模板,Batch 示例,远程运行flink作业,CDH中HADOOP_CLASSPATH
java模板doc 地址:https://ci.apache.org/projects/flink/flink-docs-release-1.6/quickstart/java_api_quickstart.html。新建一个目录,在该目录下:curl https://flink.apache.org/q/quickstart.sh | bash -s 1.6.1导入IDEA中一看,有...原创 2018-11-15 14:43:29 · 4471 阅读 · 1 评论