- 博客(12)
- 收藏
- 关注
RSS订阅原创 Flink简介
官网：https://flink..org/1.支持高吞吐、低延迟、高性能的流处理2.支持处理时间和事件时间3.精确一次（Exactly-once）的状态一致性保证4.流批一体的数据处理方式5.低延迟，每秒处理数百万个事件，毫秒级延迟6.支持基于轻量级分布式快照（Snapshot）实现的容错7.高可用，动态拓展，7 * 24 全天候运行8.Flink 在 JVM 内部实现了自己的内存管理9.支持迭代计算。
2023-05-15 15:27:47
182
原创 Flink中的aggregate函数问题
系统报错只是说方法不匹配，可能是KeyBy的时候返回的类型不匹配，将KeyBy返回为String类型进行尝试。使用Flink中的aggregate函数时，一直报错。问题解决，果然是KeyBy返回的类型的这个问题。
2023-05-11 16:06:43
300
原创 Flink中使用累加器去记录路口超速车辆信息
需要注意的是，上述代码中的累加器函数是对 Key 分组之后的数据进行聚合操作的，因此必须先使用。方法只需要将两个累加器相加即可，因为同一个 Key 的元素只会被分配到同一个分区中。在上面的示例中，我们定义了一个 Aggregate Function 累加器，其中。方法返回 0，因为我们要对分组后的元素求和。首先设定路口超过70km/h为超速车辆。方法将每个元素的分数累加到累加器中。方法用于将元素累加到累加器中，方法用于合并不同分区的累加器。方法用于返回最终的聚合结果，方法用于创建初始累加器，
2023-05-10 16:49:05
172
原创 什么是Redis
Redis 数据库没有“表”的概念，它通过不同的数据类型来实现存储数据的需求，不同的数据类型能够适应不同的应用场景，从而满足开发者的需求。
2023-04-28 11:41:14
119
原创 使用命令docker-compose up -d之后会一直下载安装
命令时，它会检查本地是否有所需的镜像，如果没有，则会从 Docker Hub 等托管服务中下载镜像。此过程需要花费时间，特别是当你使用的是大型镜像时（例如包含多个服务的。该过程所花费的时间，取决于网络速度和下载内容的大小。如果你看到一直在下载安装东西，则表明过程还没有完成。在下载过程中，你可以通过运行。请耐心等待，直到所有的东西都已经下载完毕。在所有服务正常启动后，你可以在浏览器中访问指定的 URL 来访问服务。命令来跟踪正在发生的事情，看看哪个服务正在下载镜像，以及下载进度等信息。
2023-04-25 16:34:13
734
原创 处理kafka生产者创建错误，导致的kafka宕机
kafka启动生产者后出现这种错误，强制停止后导致kafka宕机。需要将kafka的日志信息全部删除。需要将zookeeper目录下的logs进行删除。现在就可以正常启动了。
2023-04-25 10:17:03
517
原创 Flink侧输出流在Process Function中的详细应用
在 Flink 中，侧输出流主要用于将不符合某种条件或需要单独处理的数据输出到指定的流中，例如错误数据或者满足特定条件的数据。方法时，需要注意它们会创建许多临时的内部流，因此可能会影响处理性能。因此，建议在使用时小心并谨慎处理。方法从侧输出流中获取包含错误数据的数据流，并对其进行单独的处理。和需要发送到侧输出流中的数据，将其发送到指定的侧输出流中。方法中，可以接收来自侧输出流的数据，并进行单独的处理。在上述代码中，我们将错误数据输出到了名为。，在 Flink 中还可以使用。方法将输入流分为多个流，并使用。
2023-04-20 18:30:00
301
原创 数据分布不均匀详细解决办法
Flink中提供了自定义分区器的接口，通过实现这个接口来实现对数据分布不均匀的处理。自定义分区器的实现需要重写partition方法，该方法接收一个对象和总分区数，返回一个int值，表示这个元素应该落到哪个分区中。在实际使用时，如果需要使用自定义分区器，可以在调用keyBy方法时传入DataStream<Tuple2<String, Integer>> inputStream = // 从数据源中获取 DataStream通过使用自定义分区器，可以灵活地对数据进行划分，从而实现对数据分布不均匀的处理。
2023-04-20 11:02:29
1512
1
原创 flink侧输出函数
这些函数可以在 Flink 中的 DataStream API 中使用，不同的处理函数可以根据具体场景自由组合。除了上述常用的函数之外，Flink 还提供了许多其他的函数，例如。则可以接收来自主流的数据，并将它们分配到不同的输出流中。在 Flink 中，侧输出流（Side Outputs）通过。可以让用户指定一个输出流的名称，并提供一个类型信息。方法：获取侧输出流中的数据。中常常用于处理侧输出。
2023-04-19 09:00:00
322
1
原创 【无标题】计算汽车的停车时间
在上述代码中，使用了 MapState 来维护每个车辆的状态信息，包括上一次的时间戳和速度，以及累计的停车时间。在 flatMap() 方法中，将输入流按照车牌号进行分组，从状态变量中获取当前车辆的状态信息，并根据当前速度是否为 0 进行停车时间的计算。3、当前速度为 0 时，则开始计算停车时间，停车时间为当前时间戳减去上一次速度不为 0 时的时间戳。// 元素包含上一次的速度、时间戳以及停车时间。2、对于每辆车，维护一个状态，包括上一次的时间戳和速度，以及累计的停车时间。1、按照车牌号进行分组。
2023-04-18 14:15:38
358
1
原创 Flink设置水印
方法，用于从数据源中提取事件的时间戳。在这个方法中，我们还更新了。类型应该实际数据源类型相对应，并且应该能够从数据中提取时间戳。变量，用于跟踪数据源中的最大时间戳。构造函数中，我们指定了最大乱序时间窗口的大小（10秒）。使用自定义时间戳分配器，Flink 程序中使用。的实例，并使用它为数据源分配时间戳和水印。接口来为您的数据源分配时间戳和水印。在上面的代码中，我们首先定义了一个。变量，以便始终保持跟踪最大时间戳。在 Flink 中，可以通过实现。在这个例子中，我们创建了一个。请注意，上面的示例代码中的。
2023-04-14 10:56:10
320
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人