- 博客(4)
- 资源 (2)
- 收藏
- 关注
RSS订阅转载 Hadoop（一）HDFS的工作原理
一、简介HDFS（Hadoop Distributed File System ）Hadoop分布式文件系统。是根据google发表的论文翻版的。论文为GFS（Google File System）Google 文件系统。二、HDFS特点 ①保存多个副本，且提供容错机制，副本丢失或宕机自动恢复。默认存3份。 ②运行在廉价的机器上。 ③适合大数据的处...
2019-05-30 09:51:09
249
原创 Flink（十一）Flink连接Kafka输出到HDFS
一、配置项目的依赖其中flink-connector-filesystem_2.11是将Hadoop作为Flink的BucketingSink接入，hadoop-hdfs、hadoop-common、hadoop-client解决Jar包依赖的问题，2.7.3为hadoop的版本号。 <dependency> <groupI...
2019-05-29 16:02:04
4813
1
转载 Flink（十）Flink的重启策略
Flink的重启策略Flink支持不同的重启策略，这些重启策略控制着job失败后如何重启。集群可以通过默认的重启策略来重启，这个默认的重启策略通常在未指定重启策略的情况下使用，而如果Job提交的时候指定了重启策略，这个重启策略就会覆盖掉集群的默认重启策略。一、概览默认的重启策略是通过Flink的flink-conf.yaml来指定的，这个配置参数restart-strategy定义了哪...
2019-05-07 15:15:53
2044
原创 Flink（九）Flink自定义Sink注入Spring容器
一、配置Flink相关属性public class FlinkKafkaStreaming { /** * 加载Kafka配置 */ @Autowired private KafkaProperties kafkaProperties; public void main(String[] args) throws Exception { // 流处理 ...
2019-05-07 15:15:40
6532
9
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人