- 博客(4)
- 收藏
- 关注
RSS订阅翻译 Flink事件时间处理和水印
最近找到这个对事件时间处理和水印说的比较好的文章，所以转载一下，供大家分享，原文连接：http://vishnuviswanath.com/flink_eventtime.html 本文用途纯粹是为了分享，如若有侵权，请与我联系~下面是原文： 如果您正在构建实时流媒体应用程序，则事件时间处理是您必须迟早使用的功能之一。由于在大多数现实世界的用例中，消息到达无序，应该有一些方法，您建立的系统了解消
2017-09-22 16:57:18
20662
19
原创 Flink读写数据（hdfs）（DataSet）
读数据DataSet<String> hdfslines=env.readTextFile("your hdfs path")写数据hdfslines.writeAsText("your hdfs path")以上会根据你的默认的线程数来生成多少个分区文件，如果你想最后生成一个文件的话，可以在后面使用setParallelism(1)，这样最后就只会生成一个文件了。
2017-09-21 17:14:16
13795
7
原创 flink使用BucketingSink将文件写入hdfs
最近在找一些写入到flink写入到hdfs的方法，然后在官网找到了这个(https://ci.apache.org/projects/flink/flink-docs-release-1.4/dev/connectors/filesystem_sink.html)，然后就尝试着去使用这个，虽然能把数据写到hdfs上面去，但是是分片的，结果图如下：里面的内容是把我原来上传的文件给分片了。ps：我
2017-09-21 16:23:12
9930
3
原创 flink standalone集群部署
其实standalone模式挺容易部署的，首先我们修改/etc/hosts，将网址和主机名进行映射，将你想要搭成一个flink集群的机器写进去，我这里用三台机器组成一个flink集群，效果图如下：然后，我们只需要在一台机器上先解压flink压缩包，然后修改其中的flink-yaml文件中的jobmanager.rpc.address属性值，将其设置为你的master节点，类比我图中的1
2017-09-15 20:22:08
731
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人