关注
分享
第三代大数据处理引擎Flink已经足够优秀，下一步目标批流统一，且完善实时机器学习。
Flink同Spark一样，准备建立自己的生态。
阿里巴巴、美团、饿了么等企业最近两年大量的使用以及推广。
本专栏是博主通过类比大数据生态其他技术，对Flink日常学习的积累和思考。
haixwang
。。。。。。
展开
-
（六）：Flink 编程模板，Batch 示例，远程运行flink作业，CDH中HADOOP_CLASSPATH
java模板doc 地址：https://ci.apache.org/projects/flink/flink-docs-release-1.6/quickstart/java_api_quickstart.html。新建一个目录，在该目录下:curl https://flink.apache.org/q/quickstart.sh | bash -s 1.6.1导入IDEA中一看，有...原创 2018-11-15 14:43:29 · 4434 阅读 · 1 评论 -
（五）Flink小demo，java+scala，SBT+Maven，socket拒绝访问
Demo-Scala_SBT使用SBT构建flink的Scala项目：1.新建一个scala-SBT项目2.Next目前idea使用的sbt版本为0.13.X系列与我本地的1.0.0版本不同，但是不要紧，不影响执行命令时，会使用本地的SDK。【官方目前主要维护的版本有两个：0.13.X和1.X。需要注意的是，IDEA上的SBT插件暂时是随着0.13.X系列更新的，而我本地是1.0.0】...原创 2018-10-05 23:37:02 · 1873 阅读 · 0 评论 -
（四）： Flink1.6.1 standalone集群模式安装部署，几个常用参数配置
文章目录NameNode检查点异常Flink1.6.1安装前提配置Flink配置master节点JVM内存slavestaskmanager.numberOfTaskSlotsjobstore.cache临时I/O目录启动集群将JobManager / TaskManager实例添加到群集Maven依赖参考NameNode检查点异常安装flink之前，观察到一个NameNode检查点异常：...原创 2018-10-03 21:50:02 · 2100 阅读 · 0 评论 -
（三）：Flink数据流编程模型
前言仍然是学概念，以下大部分是对官方doc的翻译，但是也会有些个人的理解（主要是对比Spark），以及查找的一些解决自己的一些疑惑相关资料。从Flink 的数据流编程模型和分布式运行环境的基本概念开始学习会对您了解其他部分的文档有帮助，包括安装以及编程指南。强烈推荐先阅读这两部分文档。数据流编程模型抽象级别Flink提供了不同的抽象级别以支持开发流式、批处理等应用。最底层级的抽象仅...原创 2018-10-01 16:41:30 · 1290 阅读 · 0 评论 -
（二）：Flink概述，Flink如何支持批流处理，程序流程
文章目录前言Flink能做什么选择微批处理还是实时处理计算流程（组件）TODO：容错机制的类比、计算资源调度的类比Flink如何支持批流处理参考前言以下都尽量对比Spark（或者大数据生态的其他技术）进行理解Flink能做什么支持批处理交互式处理实时流数据处理支持用SQL分析支持机器学习数据处理后的托管状态（managed state）以及仅一次交付（exactly-once...原创 2018-09-30 15:11:44 · 4502 阅读 · 1 评论 -
（一）：小白的Flink学习计划以及进度表
文章目录学习计划第一阶段看视频看博客官方doc第二阶段看书看英文博客定期研究某一主题大一点的demo或者实践第三阶段源码正在开发的特性 || 会议进度表第一阶段视频学习计划以下几个阶段，其实并不是这么界限分明（比如你在学视频时，也完全可以看书看源码什么的），这只是我的大致划分，适合自己的才是最好的。第一阶段看视频在我看来，看视频是快速的、粗略的掌握该技术的某些要点、能做什么事情、架构...原创 2018-09-30 15:10:53 · 1639 阅读 · 3 评论