Flink学习
码上中年
目前从事于开发大数据平台开发,主要是开发特征工程工具、机器学习算法。然后将平台开发好供公安系统进行各种数据挖掘,分类,预测。
展开
-
Fink学习:时间语义与水位线WaterMark
原创 2020-09-02 08:39:57 · 117 阅读 · 0 评论 -
Flink学习:窗口Window
原创 2020-09-02 08:37:57 · 89 阅读 · 0 评论 -
Fink学习:常用Sink实现(KafkaSink、ESSink、ReidsSink、JDBCSink)已测试
1. KafkaSinkpackage com.qu.sinkimport java.util.Propertiesimport com.qu.source.SensorReadingimport org.apache.flink.api.common.serialization.SimpleStringSchemaimport org.apache.flink.streaming.api.scala.StreamExecutionEnvironmentimport org.apache.f原创 2020-07-27 22:24:16 · 784 阅读 · 0 评论 -
Flink学习:UDF(map,filter,flatMap)(匿名函数、匿名类、自定义函数、富函数四类实现方式)
1. map算子(匿名函数、匿名类、自定义函数、富函数四类实现方式)package com.qu.udfimport com.qu.source.SensorReadingimport org.apache.flink.api.common.functions.{IterationRuntimeContext, MapFunction, RichMapFunction, RuntimeContext}import org.apache.flink.streaming.api.scala.Strea原创 2020-07-26 15:41:00 · 1186 阅读 · 0 评论 -
Flink学习:常用transform转换算子API
import com.qu.source.SensorReadingimport org.apache.flink.streaming.api.scala.{ConnectedStreams, DataStream, KeyedStream, SplitStream, StreamExecutionEnvironment}import org.apache.flink.api.scala._object TransFormTest { def main(args: Array[String])原创 2020-07-26 00:57:07 · 161 阅读 · 0 评论 -
Flink学习:Source数据源算子API操作
import java.util.Propertiesimport org.apache.flink.api.common.serialization.SimpleStringSchemaimport org.apache.flink.streaming.api.scala.StreamExecutionEnvironmentimport org.apache.flink.api.scala._import org.apache.flink.streaming.api.functions.sourc原创 2020-07-26 00:54:03 · 251 阅读 · 0 评论 -
Flink学习五:Flink运行组件以及任务提交、调度流程
原创 2020-07-22 23:37:55 · 171 阅读 · 0 评论 -
Flink学习一:Flink简介
原创 2020-07-22 21:15:19 · 80 阅读 · 0 评论 -
Flink学习四:提交Flink运行job
restUI页面提交1.1 添加上传jar包1.2 提交任务job1.3 查看提交的任务2. 命令行提交./flink-1.9.3/bin/flink run -c com.qu.wc.StreamWordCount -p 2 FlinkTutorial-1.0-SNAPSHOT.jar3. 命令行查看正在运行的job./flink-1.9.3/bin/flink list4. 命令行查看所有job./flink-1.9.3/bin/flink list --all.原创 2020-07-22 21:09:20 · 2471 阅读 · 0 评论 -
Flink学习三:WordCount
读取文件进行批量计算WordCount1.1 代码import org.apache.flink.api.scala.ExecutionEnvironmentimport org.apache.flink.api.scala._/** * 批处理wordcount */object WordCount { def main(args: Array[String]): Unit = { // 创建一个执行环境 val env = ExecutionEnvironme.原创 2020-07-22 20:30:30 · 227 阅读 · 0 评论 -
Flink学习二:搭建独立运行的flink(1.9.3)集群
下载flink-1.9.3-bin-scala_2.11.tgz tar -xzvf flink-1.9.3-bin-scala_2.11.tgz配置相关参数2.1 flink-conf.yaml2.2 masters2.3 slaves分发到其他节点 scp -r /home/xtdsj/bigdata/flink root@cdh-worker1:/home/xtdsj/bigdata启动flink集群 ./bin/start-cluster.sh5...原创 2020-07-22 20:19:29 · 385 阅读 · 0 评论