NIO4444

处理时间窗口当按处理时间进行窗口化时，系统将传入的数据缓冲到窗口中直到经过了一定的处理时间。例如，在5分钟固定窗口的情况下，系统将缓冲数据为5分钟的处理时间，之后它将把在这5分钟内观察到的所有数据作为一个窗口并将它们发送到下游进行处理。事件时间窗口当您需要以有限块的形式观察数据源时，可以使用事件时间窗口，这些有限块反映这些事件实际发生的时间。这是开窗的黄金标准。遗憾的是，目前使用的大多数数据处理系统都缺乏对它的本地支持(尽管任何具有良好一致性模型的系统，如Hadoop或Sp...

目录窗口固定窗口滑动窗口会话窗口窗口窗口就是将一个数据源(无论是无界的还是有界的)分割成有限的块进行处理的抽象。固定窗口固定窗口将时间分割成固定大小的时间段。滑动窗口固定窗口的变种，滑动窗口由固定长度和固定周期组成。如果周期小于长度，则窗口重叠。如果周期等于长度，那么窗口是固定的。如果周期大于长度，那么是一个抽样窗口，它只记录数据的子集。会话窗口会话由一系列事件组成，当这些事件由于超时不活动而终止。会话通过将一系列与时间相关..

聚合查询查询指定时间范围内，某个字段出现的次数（去重）value_count: 计数cardinality: 去重计数avg: 平均值sum: 求和max: 最大值min: 最小值percentiles: 百分比top_hits： 简单来说就是聚合分组后从每一个组取部分数据作为结果返回{ "query": { "bool": { "filter": [ { "range": { ..

目录默认目录手动设置目录默认目录操作系统不同 这个系统属性所表示的目录也不同Windows: java.io.tmpdir:[C:\temp\]Solaris: java.io.tmpdir:[/var/tmp/]Linux: java.io.tmpdir: [/tmp] 或 [/var/tmp/]Mac OS X: java.io.tmpdir: [/tmp]手动设置目录java -Djava.io.tmpdir=/path/to/tmpdir.

目录现象原因分析：解决方法现象max_bytes_length_exceeded_exception: bytes can be at most 32766 in length原因分析：原因是keyword类型某个字段的值太长，而Search每个keyword类型的field默认能接受的长度为32766个字节，当超过32766个字节时，会抛异常解决方法使用ignore_above用于设置超过设定字符后，不被索引或者存储，无法通过term精确匹配检索返回结果，主

目录问题现象原因分析解决方法问题现象　启动flink运行过程中报错：java.lang.OutOfMemoryError: unable to create new native threadjava.lang.OutOfMemoryError: unable to create new native thread at java.lang.Thread.start0(Native Method) at java.lang.Thread.start(Unknown So..

Error:java: 无效的源发行版: 11错误可能是创建springboot的时候没有注意直接选择11的版本，而本地安装的是JDK8.所以修改为jdk8就可以了

目录最后一条命令执行结束的退出状态正常成功退出码自定义退出状态码最后一条命令执行结束的退出状态Linux提供$?特殊变量来保存最后一条命令执行结束的退出状态。执行完一条命令后，立即执行echo$?，可以查看最后一条命令的退出状态值。正常成功退出码正常的情况下，命令成功执行完成的退出状态是0，如果非0，则命令执行有错。该命令可以用于检查命令是否正确执行，比如在解压包的时候，检查解压包是否成功十分有效。自定义退出状态码可以在脚本中定义自己的退出状态代码，然后

Elasticsearch v7.0.0 开始，集群中的每个节点默认限制 1000 个shard

可以通过如下方法，找到正在被那个文件占用：

这个脚本的服务是实现web查看作业的历史运行情况。有些情况下，作业运行完了，在web端就无法查看运行情况。可以通过开启这个的守护进程来达到查看历史任务。启动命令为 mr-jobhistory-daemon.sh start historyserver停止命令为 mr-jobhistory-daemon.sh stop historyserver...

Runtime整体架构设计

在window窗口时间范围内，每一条记录都会计算watermark，watermark会一直保存增长的趋势，不会变小。event time、watermark、window时间关系曲线图

目录修改配置yaml配置master配置ZK启动HA修改配置yaml配置master配置ZK启动HA扩展Flink系列：flink on yarn高可用配置https://xdoctorx.blog.csdn.net/article/details/118864534

目录修改xml配置conf启动HA修改xml配置conf启动HA

目录机器性能举例解决方法备库繁忙举例解决方法大事务举例解决方法机器性能举例备库用的机器性能较差解决方法改为主备同等机器备库繁忙举例通常备库会用于各种大数据的查询，导致大家都不重视查询效率。解决方法通过 binlog 输出到外部系统，比如 Hadoop 这类系统，让外部系统提供统计类查询的能力大事务举例比如：一次性delete很多的数据。解决方法拆分为多个小事务...

双M结构生产上使用比较多的是双M结构（节点 A 和 B 之间总是互为主备关系）双 M 结构还有一个问题需要解决业务逻辑在节点 A 上更新了一条语句，然后再把生成的 binlog 发给节点 B，节点 B 执行 完这条更新语句后也会生成 binlog。（我建议你把参数 log_slave_updates 设置为 on， 表示备库执行 relay log 后生成 binlog）。 那么，如果节点 A 同时是节点 B 的备库，相当于又把节点 B 新生成的 binlog 拿过来.