- 博客(5)
- 收藏
- 关注
RSS订阅原创 Flink学习笔记(三)——监控维基百科编辑流
本文参考官方文档，使用flink 提供的API，在flink集群上运行流式分析。维基百科提供了一个IRC频道，对所有的wiki的编辑都会被记录下来。并计算每个用户在给定时间窗口内编辑的字节数。使用flink实现这个功能只需要几分钟，而且非常的简单，同时也为后面学习更复杂的程序打下基础。已上传至github: https://github.com/KeoZmy/wiki-flink.git
2018-01-11 17:57:53
2828
原创 上传jar至Nexus Repository Manager失败问题总结
上传jar至Nexus Repository Manager失败问题总结参考：https://my.oschina.net/skyzwg/blog/846195上传一直各种原因失败。于是逐步排查，总结出了几个小Tips：创建的仓库类型一定要是hosted类型的，否则无法上传（之前一直报405）Snapshot库发布的版本必须以SNAPSHOT结尾release发
2018-01-08 19:17:32
3864
原创 flink学习笔记(二)分布式运行环境
flink学习笔记(二)分布式运行环境本文主要参考了flink官方文档以及一篇博客：http://wuchong.me/blog/2016/05/09/flink-internals-understanding-execution-resources/Task和Operator Chains对于分布式运行环境。为了更高效地分布式执行，Flink会尽可能地将operator的subt
2018-01-04 17:04:13
3082
1
原创 flink学习笔记（一）——数据流编程模型
flink学习笔记（一）——数据流编程模型flink官方文档学习笔记，本文主要是flink一些基础概念数据流编程模型（Dataflow Programming Model）抽象等级(Levels of Abstraction)Flink提供不同级别的抽象来开发流/批处理应用程序。Statefule Stream Processing:是最低级别（底层）的抽象，只提供有状态的流。它通过Process
2018-01-03 18:20:49
3881
原创 并发学习笔记
并发学习笔记同步（Synchronous）和异步（Asynchronous）同步：方法调用一旦开始，调用者必须等到方法调用返回后，才能继续后续的行为。异步：方法调用更像是一个消息的传递，一旦开始，方法调用就会立即返回，调用者可以继续后续的操作。而异步方法通常会在另一个线程中“真实”地执行。并发（Concurrency）和并行（Parallelism）它们都可以表示两个或者多个任务一起执行，但是偏重点
2018-01-03 18:19:00
305
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人