大数据体系
文章平均质量分 79
三少说
预则立,不预则废!
展开
-
flink-提交jar包 submit 报错未序列化
flink-提交jar包 submit 报错未序列化flink-web控制台 submit jar包 报错堆栈(org.apache.flink.runtime.rest.handler.RestHandlerException: Could not execute application. at org.apache.flink.runtime.webmonitor.handlers.JarRunHandler.lambda$handleRequest$1(JarRunHandler.java:107)原创 2022-03-25 10:13:47 · 10637 阅读 · 5 评论 -
Flink同一个DataStream同时供多个业务使用
一:背景我们项目中用到Flink的Java客户端 用来做数据处理数据源:kafka发送源:kafka原来只有一个业务需求,可以理解为对mq消息中的一个字段做累计和。现在又多了两个业务需求,可以理解为对mq消息的其他字段做累加和。此时面临的问题是:flink 做完类似于 map filter keyby reduce 等算子操作时,是否只能为一个业务使用?如果可以供多个业务使用数据源,则我们不需要考虑如果只能供一个业务使用数据源,我们需要将同数据源的数据复制一份,或者复制一份客户端代码原创 2022-01-27 14:23:49 · 4115 阅读 · 2 评论 -
Flume简述and快速入门(精创)
第一章:flume概述1.1flume定义flume是Cloudera提供的一个高可用,高可靠,分布式的海量日志采集,聚合和传输的系统。flume基于流式框架,灵活简单。1.2flume基础架构官网:flume官网数量级 N (Source) -> 1(Channel) -> N (Slink);一个channel可以对应多个Slink,一个Slink只能有...原创 2019-11-18 21:34:27 · 202 阅读 · 0 评论 -
Zookeeper简述(最通俗易懂)
Zookeeper总结本文对Zookeeper简述,对特点进行分析,对数据结构进行简单描写,Zookeeper所提供的服务,配置文件,内部选举机制,以及节点类型进行简单总结原创 2019-11-10 10:32:42 · 2343 阅读 · 0 评论