Hadoop生态
文章平均质量分 96
千狼
互勉互助 ,共同成长
展开
-
SpringStreaming+Kafka
Spark踩坑记--Spark Streaming + KafkaSpringStreaming +卡夫卡1.SpringStreaming + Kafka接受数据和发送数据(1)SparkStreaming接受kafka方式 基于接收的方式 基于DirectKafkaStreaming DirectKafkaStream...转载 2018-09-06 22:15:04 · 1338 阅读 · 0 评论 -
kafka常用指令总结
文章目录kafka指令1.常用指令1.1 [ Adding and removing topics](http://kafka.apache.org/090/documentation.html#basic_ops_add_topic)1.2 [Modifying topics](http://kafka.apache.org/090/documentation.html#basic_ops_m...原创 2018-09-18 10:17:21 · 333 阅读 · 0 评论 -
flume 单机问题解决与架构更改
引言1. 线上单机存在问题简述2. 解决思路3 加大kafka拉取数据量3.1 kafka-source简述3.2 kafka-source配置详解3.3 配置优化4. 加大flume中channel,source,sink 各通道的单条数据量4.1 source 发送至channels 数据量大小已配置 见 3.34.2 channel 配置5. 将flume...原创 2018-09-10 23:24:24 · 871 阅读 · 1 评论 -
Flink 专题 -1 搭建Flink 及Flink 简介
文章目录Flink 专题1 : 搭建Flink 及Flink 简介Flink 简介Flink 的优势:Flink 安装flink 安装步骤flink 集群模式 结构 :配置文件设置:添加jobManager/TaskManager启动集群1 集群模式启动2. yarn 模式启动Flink 专题1 : 搭建Flink 及Flink 简介图片来源于网络Flink 简介Apache Flin...原创 2018-11-06 22:46:28 · 1756 阅读 · 0 评论 -
Flume 源码解析:HDFS Sink
文章目录Flume 源码解析:HDFS SinkSink 组件的生命周期HDFS Sink 模块中的类配置与启动处理数据Channel 事务查找或创建 BucketWriter写入数据并刷新文件滚动关闭与停止转自: https://blog.csdn.net/zjerryj/article/details/82937232Flume 源码解析:HDFS SinkApache Flume 数据...转载 2018-11-12 22:37:43 · 686 阅读 · 0 评论 -
Flink 专题 -2Checkpoint、Savepoint 机制
文章目录CheckPoint1. checkpoint 保留策略2. Checkpoint 配置3. Checkpoint 状态点恢复SavepointSavepoint 介绍savepoint 和 checkpoint 区别Assigning Operator IDs ( 分配 operator ids)Savepoint State保存Savepoint在yarn 集群中保存Savepoint...原创 2018-11-07 22:47:39 · 2700 阅读 · 0 评论 -
Flink Streaming专题 -1 FlinkStreaming 概述和事件时间EventTime解读
1.Streaming1.1 Overviewer(1)Data SourcesDataSources 操作 可以通过StreamExecutionEnvironment.addSource(sourceFunction) 方式将source加入到集群内部中,Flink预先提供了很多Source方法来帮助你来实现数据操作。当然也可以通过实现SourceFunction 的方式来实现非并行数据...原创 2019-01-30 11:49:09 · 928 阅读 · 0 评论