- 博客(5)
- 收藏
- 关注
RSS订阅原创 flink时间窗口
Flink 窗口应用大致骨架窗口窗口是flink中的一类算子，是DataStream的逻辑边界，用于将许多事件按照时间或者其他特征分组，从而将每一组作为整体进行分析。在开发中最常用的是时间窗口和计数窗口。窗口应用大致骨架1． 需决定是否对一个DataStream按照Key进行分组，必须在窗口计算之前，经过keyby的数据流将形成多组数据，windowAll不对数据流进行分组。2.Flink窗口的骨架结构中有两个必须的两个操作：• 使用窗口分配器（WindowAssigner）将数据流中的元素
2022-01-06 20:07:41
176
原创 Flume Sink组件常见类型
Hdfs sink此接收器将事件写入 Hadoop 分布式文件系统 (HDFS)参数说明type hadfshdfs.path 必填，目录(eghdfs://namenode/flume/webdata/) hdfs.filePrefix Flume在目录下创建文件的名称前缀 hdfs.fileSuffix – 追加到文件的名称后缀 (eg .avro - 注:日期时间不会自动添加)hdfs.inUsePrefix Flume正在处理的
2021-12-28 23:05:32
941
原创 Flume框架及常见source组件类型
Flume概览Flume是一个分布式的高可用的消费组件。通过修改配置文件，可以启动不同的agent处理不同来源的数据。架构配置步骤定义流要在单个代理中定义流，需要通过通道连接源和接收器，需要列出代理的源、接收器和通道，然后将源和接收器指向一个通道。一个source实例可以指定多个channel，而一个sink实例只能指定一个channel。格式如下：#列出代理的源、接收器和通道（别名）<Agent>.sources = <Source> <A.
2021-12-28 18:20:57
1272
原创 数组数据处理
1. 根据字段求最大值语法array.reduce(callback[, initialValue])参数说明array 必需。数组对象 callback 必需。一个接受最多四个参数的函数。对于数组中的每个元素，reduce 方法都会调用callback函数一次。 initialValue 可选。如果指定 initialValue，则它将用作初始值。第一次调用callback 函数会将此值作为参数。 返回值：通过最后一次调用回调函数获得的累积结果 回调函数语法： functioncallbac
2021-12-27 17:42:23
379
原创 Axios请求用法
**Axios请求用法**常见的配置选项请求地址 url: ‘/user’,请求类型 method: ‘get’,请根路径 baseURL: ‘http://www.mt.com/api’,请求前的数据处理 transformRequest:[function(data){}],请求后的数据处理 transformResponse: [function(data){}],自定义的请求头 head
2021-12-27 14:10:10
478
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人