![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
flink
万家林
热爱大数据和AI的一名在职大数据开发工程师
展开
-
Flink读取kafka中数据写入到Redis案例
案例准备:1、启动Redis2、启动zookeeper3、启动Kafka4、打开IDEA代码实现:def main(args: Array[String]): Unit = { val env: StreamExecutionEnvironment = StreamExecutionEnvironment.getExecutionEnvironment val properties = new Properties() properties.setProperty("b原创 2022-02-22 16:24:14 · 1910 阅读 · 0 评论 -
Flink写入数据到MySQL案例
案例准备:1、启动MySQL,在mysql中创建数据库flinkdb,并创建表sensor_tempCREATE TABLE sensor_temp ( id varchar(32), temp double) 代码实现:def main(args: Array[String]): Unit = { val env: StreamExecutionEnvironment = StreamExecutionEnvironment.getExecutionEnvironment原创 2022-02-22 15:56:36 · 2856 阅读 · 0 评论 -
Flink自定义Source源案例
案例需求:需求:实现自定义数据源代码实现:样例类:case class SensorReading(id:String,timestamp:Long,temperature:Double)伴生类class MyDefSource() extends SourceFunction[SensorReading] { override def run(sourceContext: SourceFunction.SourceContext[SensorReading]): Unit = {原创 2022-02-22 15:43:46 · 153 阅读 · 0 评论 -
Flink写入数据到Kafka案例
案例准备:1、启动zookeeper2、启动Kafka3、打开IDEA案例需求:需求:使用flink写入数据到Kafka代码实现:def main(args: Array[String]): Unit = { val env = StreamExecutionEnvironment.getExecutionEnvironment env.setParallelism(1) val stream = env.fromElements( "hello",原创 2022-02-22 14:33:46 · 1334 阅读 · 0 评论 -
Flink读取Kafka数据案例
案例准备:1、启动zookeeper2、启动Kafka3、打开IDEA案例需求:需求:使用flink读取Kafka中的数据代码实现:def main(args: Array[String]): Unit = { val env = StreamExecutionEnvironment.getExecutionEnvironment env.setParallelism(1) val props = new Properties() props.put("boo原创 2022-02-22 14:08:23 · 2099 阅读 · 0 评论 -
Flink实现WordCount案例
案例需求:需求:使用netcat工具向9999端口不断的发送数据,通过flink读取端口数据并统计不同单词出现的次数。代码实现:import org.apache.flink.streaming.api.scala._//导入隐式函数依赖//import org.apache.flink.streaming.api.scala._import org.apache.flink.streaming.api.windowing.time.Timeobject WordCountFromSocke原创 2022-02-05 21:46:08 · 891 阅读 · 0 评论 -
Flink的安装与配置(集群版)(保姆级教程)
Flink简述:Flink是一个框架和分布式处理引擎,用于对无界和有界数据流进行有状态计算。Flink安装前准备工作:1、使用xftp将Flink安装包上传到虚拟机中flink-1.10.0-bin-scala_2.11.tgz可以去国内镜像下载,也可以去apache flink官网下载Flink安装操作步骤:1、解压缩文件tar -zxf flink-1.10.0-bin-scala_2.11.tgz -C ../soft/2、为了方便以后使用,将解压缩后的文件夹修改名字mv flink-原创 2022-02-05 21:22:46 · 11761 阅读 · 5 评论