NIO4444
这个作者很懒,什么都没留下…
展开
-
Flink系列:Exception while invoking getStats of class ClientNamenodeProtocolTranslatorPB over
先执行hadoop-daemon.sh start journalnode,启动JournalNode,重启集群时应该要根据配置文件hdfs-site.xml和yarn-site.site。执行hdfs dfsadmin -report可以正常报告节点状态。执行hdfs dfsadmin -report可以正常报告节点状态。强行指定其中一个namenode节点的状态为Active。然后在namenode节点上启动NameNode。直接运行start-all.sh造成。需要在配置文件中指明节点上。原创 2022-10-10 08:45:00 · 564 阅读 · 0 评论 -
Flink系列:checkpoint调优
目录特殊字符#;“”和‘’和``\转义符号引用双引号 “”单引号''反引号``特殊字符#注释;;可以将多个命令可以写在一行“”和‘’和``\标致特殊字符不转义,比如"或‘转义符号引用双引号 “”变量会进行解释单引号''变量原样输出反引号``存储执行命令的结果.........原创 2022-06-28 08:00:00 · 561 阅读 · 0 评论 -
Flink系列:消费kafka时获取每条消息对应的topic
目录效果使用方法 重写KafkaDeserializationSchema原创 2022-06-25 17:34:00 · 811 阅读 · 0 评论 -
Flink系列:java.lang.OutOfMemoryError: unable to create new native thread
目录问题现象原因分析解决方法问题现象 启动flink运行过程中报错:java.lang.OutOfMemoryError: unable to create new native threadjava.lang.OutOfMemoryError: unable to create new native thread at java.lang.Thread.start0(Native Method) at java.lang.Thread.start(Unknown So..原创 2021-10-02 10:50:21 · 841 阅读 · 0 评论 -
Flink系列:flink整体架构设计
Runtime整体架构设计原创 2021-07-19 22:50:54 · 384 阅读 · 0 评论 -
Flink系列:Watermark的理解
在window窗口时间范围内,每一条记录都会计算watermark,watermark会一直保存增长的趋势,不会变小。event time、watermark、window时间关系曲线图原创 2021-07-18 13:09:21 · 303 阅读 · 0 评论 -
Flink系列:DataStream主要操作
原创 2021-07-18 10:48:17 · 305 阅读 · 0 评论 -
Flink系列:StreamExecutionEnvironment常用功能
原创 2021-07-18 00:12:36 · 960 阅读 · 0 评论 -
Flink系列:flink on yarn高可用配置
目录修改xml配置conf启动HA修改xml配置conf启动HA原创 2021-07-17 23:35:17 · 682 阅读 · 0 评论 -
Flink系列:Standalone高可用配置
目录修改配置yaml配置master配置ZK启动HA修改配置yaml配置master配置ZK启动HA扩展Flink系列:flink on yarn高可用配置https://xdoctorx.blog.csdn.net/article/details/118864534原创 2021-07-17 23:35:36 · 481 阅读 · 0 评论 -
Flink系列:流计算与批计算对比 (Stream VS Batch)
数据时效性不同·流式计算实时、低延迟,批量计算非实时、高延迟。数据特征不同:流式计算的数据一般是动态的、没有边界的,而批处理的数据一般则是静态数据。应用场景不同:流式计算应用在实时场景,时效性要求比较高的场景,如实时推荐、业务监控….批量计算一般说批处理,应用在实时性要求不高、离线计算的场景下,数据分析、离线报表等。运行方式不同:流式计算的任务持续进行的,批量计算的任务则一次性完成。...原创 2021-05-31 23:45:04 · 1362 阅读 · 2 评论 -
Flink系列: 解决Could not determine TypeInformation for the OutputTag type
目录现象解决方法现象Exception in thread "main" org.apache.flink.api.common.functions.InvalidTypesException: Could not determine TypeInformation for the OutputTag type. The most common reason is forgetting to make the OutputTag an anonymous inner class. It i原创 2021-05-24 00:07:07 · 436 阅读 · 0 评论 -
Flink系列:统计最近N分钟的热门商品TOP X实现
效果data.txtpom<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4....原创 2021-05-05 21:53:38 · 346 阅读 · 0 评论