大数据平台开发问题解决笔记
文章平均质量分 74
记录大数据平台开发过程中的问题解决过程和办法
OkGogooXSailboat
大数据平台设计与开发者
展开
-
集群启动部分参数-D后面加空格的原因记录--YarnApp运行Flink的JobManager
今天看到之前通过YarnApp方式运行Flink的JobManager启动命令代码,看到部分-D参数后面带空格很疑惑。相信之前这么做是有原因的,但想不起之前为什么这部分参数-D后面要带空格。原创 2023-09-28 11:26:19 · 100 阅读 · 1 评论 -
日志采集与处理 flume拦截器--使用Aviator扩展拦截器功能
在使用flume进行日志收集、处理的过程中,发现flume带的拦截器处理能力不够。笔者开发的大数据平台中广泛使用了,可以通过使用Aviator表达式提升拦截器的处理能力。原创 2023-08-28 10:56:41 · 73 阅读 · 0 评论 -
本地运行Flink退出时java.nio.file.DirectoryNotEmptyException、目录没有正常删除解决方法
在开发大数据平台中的查看Flink任务的状态数据工具时,用State Process API解析保存点数据,将其从HDFS上读取出来再将其解析过后下沉到HDFS以CSV格式保存,然后由其它接口提供对这个文件的分页加载功能。解析保存点和检查点中状态数据的功能代码是集成在SailWorks生产环境中台服务和DataStudio中台服务中的,状态数据解析出来以后Flink Job相关的资源销毁,服务进程并不会退出。原创 2023-08-18 08:29:57 · 781 阅读 · 0 评论 -
Hadoop YARN的ResourceManager报错TableNotFoundException:prod.timelineservice.flowactivity解决
1. 问题在resourcemanager.log中出现下面的异常:java.io.UncheckedIOException: org.apache.hadoop.hbase.TableNotFoundException: prod.timelineservice.flowactivity at org.apache.hadoop.hbase.client.ResultScanner$1.hasNext(ResultScanner.java:55) at org.apache.hadoop.yarn原创 2023-08-16 15:50:29 · 275 阅读 · 0 评论 -
Flink连接HDFS出现java.net.UnknownHostException解决办法
在开发大数据平台中的查看Flink任务的状态数据工具时,用State Process API解析保存点数据,将其从HDFS上读取出来再将其解析过后下沉到HDFS以CSV格式保存,然后由其它接口提供对这个文件的分页加载功能。以CSV格式下沉到HDFS,笔者直接使用了DataStream上已经废弃的writeAsCsv方法,因为这个方法的特性正好和此处的需求相符,没有使用FileSink,因为它的Bucket特性,在此处不适用。原创 2023-08-15 16:28:46 · 671 阅读 · 2 评论