![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
分布式实时计算
文章平均质量分 61
黑马大神
这个作者很懒,什么都没留下…
展开
-
分布式实时计算——2.5 支持的数据类型总结&富函数
一.基础数据类型:支持的数据类型 1.基础数据类型: Flink 支持所有的 Java 和 Scala 基础数据类型,如Int, Double, Long, String, … 2.Java和Scala元组(Tuples): 3.Java简单对象(POJO): 如之前定义过的WordCount 4.Scala样例类(Case Class): 5.其它( Arrays, Lists, Maps, Enums, 等等): 二.富函数 ...原创 2021-05-27 17:00:32 · 109 阅读 · 0 评论 -
分布式实时计算课程学习(2.3)——Transform API
3.filter 示例:把温度大于30的过滤输出 代码: package com.edu.neusoft.bigdata.flink.source; import org.apache.flink.api.common.functions.FilterFunction; import org.apache.flink.streaming.api.datastream.DataStreamSource; import org.apache.flink.streaming.api.datastream.S.原创 2021-05-16 16:46:26 · 97 阅读 · 0 评论 -
分布式实时计算课程学习(2.4)—— Sink API
官方提供了一部分的框架的 sink。除此以外,需要用户自定义实现 sink. kafka sink 示例: 1.启动zk、kafka: $ zkServer.sh start $ cd /usr/local/kafka $ bin/kafka-server-start.sh config/server.properties 2.在kafka上创建一个topic t2: 3.在realtime工程的pom.xml文件中添加如下依赖(如果之前已添加则忽略): <dependency>原创 2021-05-16 16:22:59 · 451 阅读 · 0 评论 -
分布式实时计算课程学习(2.2)——Source API
目录2.2.1 文件Source示例:1.示例数据:2.操作过程3.最终代码2.2.2 Socket Source2.2.3 集合Source示例:1.操作过程2.最终代码2.2.4 Kafka Source(主要)示例:1.虚拟机环境启动zk、kafka:2.在kafka上创建一个topic t1:3.在realtime工程的pom.xml文件中添加如下依赖:4.编写class: 2.2.1 文件Source 基于文件: readTextFile(path) 读取文本文件,文件遵循TextInputFor原创 2021-04-23 18:08:20 · 174 阅读 · 0 评论 -
分布式实时计算课程学习(2.0)——实时大数据计算框架Flink
目录2.1 执行环境Environment2.2 Source API2.3 Transform API![在这里插入图片描述](https://img-blog.csdnimg.cn/20210418182555825.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Njg4MDgxMA==,size_16,color_FFFF原创 2021-04-18 18:31:17 · 139 阅读 · 0 评论 -
4.2.2SocketWindowWordConut任务类
这里写目录标题SocketWindowWordConut任务类文件内容1.第一步main方法2.flink五步流程1.初始化env2.source数据来源3.transform数据转换1.flatmap2.map2.keyBy,reduce4.sink数据去向5.启动env3.第一次运行会报错注:运行前启动端口1.出现如下错误2.错误原因:3.如何解决4.最后的完整代码 SocketWindowWordConut任务类文件内容 1.第一步main方法 IDEA快捷方法,直接打psvm回车 public cl原创 2021-04-18 17:12:08 · 240 阅读 · 0 评论 -
分布式实时计算课程学习(4.2.1)——Flink编程入门( WordCount实体类具体文件内容)
WordCount实体类具体文件内容 1.首先定义两个字段 package com.edu.neusoft.bigdata.flink.entity; public class WordCount { private String word; private Integer count; 2.运用快捷功能自动生成构造方法 右键点击Generate 里面有不同的自动生成方法 3.最后的WordCoun文件内容 无参构造方法,全参构造方法,每一个字段的get,set方法,tostrin原创 2021-04-18 16:19:25 · 118 阅读 · 0 评论 -
分布式实时计算课程学习(4.2)——Flink编程入门
案例:每隔1秒统计过去5秒每个单词出现的次数 1.分析:滑动窗口,步长1秒,窗口大小5秒 2.在maven工程realtime中,为pom添加如下依赖: <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-java</artifactId> <version>1.11.3</version> <scope.原创 2021-04-18 15:59:03 · 247 阅读 · 1 评论 -
分布式实时计算课程学习(1.3)——IDEA+Maven创建Java项目
1.参考添加链接描述,完成IDEA的下载与安装。 2.Settings项配置如下内容: 3.安装scala插件: 安装完插件需要重启IDEA。 4.配置Project Structure: 5.创建Maven工程: 点击finish后,会出现如下工程: 建立如下的java工程文件: 其中HelloWorld类的代码如下: package com.edu.neusoft.bigdata.maven; public class HelloWorld { publ原创 2021-04-10 16:25:22 · 152 阅读 · 0 评论 -
分布式实时计算课程学习(1.2)——控制台创建Maven项目
1.创建一个目录:D://projects/spark,将hello-world.rar解压到该目录下,形成如下的文件结构: 留意pom.xml中相关的内容。 2.在CMD控制台中,进入到D:\projects\spark\hello-world目录下,执行如下命令: mvn clean test 3.执行如下命令: mvn clean package 此时可以看到生成target目录: 4.进入targe目录,执行如下命令,可以看到程序正常运行了: java -jar hello-world-1.原创 2021-04-10 16:14:49 · 92 阅读 · 0 评论 -
分布式实时计算课程学习(1.1)——Maven安装与配置
1.在windows中安装maven,首先将apache-maven-3.3.9-bin.zip文件解压,然后放到如下位置: 然后在该目录下创建一个空的repo目录。 2.修改conf目录下的settings.xml文件,添加如下内容: <localRepository>D:/maven/repo</localRepository> 为了避免后续从中央仓库下载jar包慢,修改所使用的镜像为国内镜像: <mirror> <id>nexus-aliyu原创 2021-04-10 16:06:09 · 94 阅读 · 0 评论