- 博客(13)
- 收藏
- 关注
RSS订阅原创 flink DataStream BroadcastStream广播流scala使用示例
1.官网解释广播状态被引入以支持这样的用例:来自一个流的一些数据需要广播到所有下游任务，在那里它被本地存储，并用于处理另一个流上的所有传入元素。作为广播状态自然适合出现的一个例子，我们可以想象一个低吞吐量流，其中包含一组规则，我们希望根据来自另一个流的所有元素对这些规则进行评估。考虑到上述类型的用例，广播状态与其他操作符状态的区别在于:（1）它是一个map格式（2）它只对输入有广播流和无广播流的特定操作符可用（3）这样的操作符可以具有具有不同名称的多个广播状态。2.scala代码示例import
2020-06-06 01:25:54
1067
原创 flink DataStream iterate迭代流scala代码示例
1.迭代流定义直接看官网的解释：通过将一个运算符的输出重定向到前面的某个运算符，在流中创建一个“feedback”循环。这对于定义持续更新模型的算法尤其有用。上面的代码从一个流开始，并持续地应用迭代体。大于0的元素被发送回反馈通道，其余的元素被转发到下游。2.scala代码示例import org.apache.flink.api.java.utils.ParameterToolimport org.apache.flink.streaming.api.scala.{DataStream, St
2020-06-06 01:25:15
362
原创 flink使用DataStreamUtils将DataStream的数据转成Iterator迭代器的数据（如数组、列表、集合等）
1.scala代码如下import org.apache.flink.streaming.experimental.DataStreamUtilsimport scala.collection.JavaConverters.asScalaIteratorConverterval myResult: DataStream[(String, Int)] = ...val myOutput: Iterator[(String, Int)] = DataStreamUtils.collect(myResu
2020-05-18 01:32:08
1131
原创 Github基础使用命令(上传、克隆、提交项目）
1.修改用户信息git config --global user.name "John Doe" git config --global user.email johndoe@example.com查看修改：$ git config --global core.editor emacs一、把现有项目上传到github上git init //将Test文件夹全部内容添加到gitgit commit -m 'first commit'git remote add origin xxx.git
2020-05-17 01:46:59
151
原创 flink 将mysql作为Source和Sink的代码示例
1.maven导入<dependency> <groupId>mysql</groupId> <artifactId>mysql-connector-java</artifactId> <version>5.1.34</version> </dependency>2.SourceFromMySQL工具类java代码import org.apache.flink.configurati
2020-05-16 13:47:40
761
原创 使用flink ProcessWindowFunction出现Error type mismatch问题
1.报错代码val window = .keyBy(0) .timeWindow(Time.seconds(5)) //简写，具体调用TumblingProcessingTimeWindows还是TumblingEventTimeWindows取决于配置的时间特性？ .process(new MyProcessWindowFunction) class MyProcessWindowFunction extends ProcessWindowFunc
2020-05-14 16:31:53
1220
2
原创 flink的日志配置
1.导入maven依赖 <!-- Add a logging Framework, to make the examples produce --> <!-- logs when executing in the IDE --> <dependency> <groupId>org.apache.logging.log4j</groupId>
2020-05-12 16:56:51
1936
原创 IDEA打包java和scala混合项目jar包
1.使用IDEA Artifacts进行打包1.1项目右键，点击Open Module Settings1.2点击Artifacts->JAR->From modules with dependencies…1.3选择copy to the output directory and link via manifest，默认目录1.4点击Build->Build Artifacts…1.5选择刚刚生成的Artifact->Build1.6在out目录看到导出的ja
2020-05-11 20:58:23
481
原创 flink运行报错MiniCluster is not yet running
1.使用flink运行主函数main运行，读取kafka数据进行数百次collect()操作时出现错误：Exception in thread "main" java.util.concurrent.ExecutionException: org.apache.flink.client.program.ProgramInvocationException: Job failed (JobID: a32030ab2b07573214af69c8e3f8205b) at java.util.concurre
2020-05-11 17:20:04
4546
原创 linux报错Missing privilege separation directory: /var/run/sshd
linux服务器有外网，但ssh远程无法连接问题。1.输入sshd -t出现报错Missing privilege separation directory: /var/run/sshd2.输入命令sudo mkdir -p /var/run/sshdsudo service sshd start3.ssh成功连上
2020-05-10 23:15:27
1627
1
原创 Spark Standalone伪分布式安装
Standalone伪分布式安装实验环境操作机：Windows XP目标机：1台CentOS 7虚拟机配置：IP：192.168.129.100主机名：hadoop1内存：1GB硬盘：20GB实验工具Xshell6：是一个强大的安全终端模拟软件，它支持SSH1, SSH2, 以及Microsoft Windows 平台的TELNET 协议。Xftp6：是一个功能强大的SFTP、FTP 文件传输软件。实验内容Standalone伪分布式，在单机启动多个线程来模拟
2020-05-10 20:28:46
334
原创 kafka发送消息及flink读取kafka消息代码示例
1.向kafka对应的主题发送数据工具类代码import java.util.{HashMap, Map, Properties}import org.apache.kafka.clients.producer.{KafkaProducer, ProducerRecord}import scala.io.Source/** * @Author: ch * @Date: 07/05/2020 12:20 AM * @Version 1.0 * @Describe: 发送数据到kafka对
2020-05-10 16:19:40
944
原创 kafka的使用及mac安装
**1.mac安装：**```brew install kafka```安装会依赖zookeeper。注意：安装目录：/usr/local/Cellar/kafka/0.10.2.0**2.安装配置文件位置**/usr/local/etc/kafka/server.properties/usr/local/etc/kafka/zookeeper.properties**3.启动zookeeper**先进入kafka/bin目录下；执行命令：```sh zookeep
2020-05-10 16:07:38
155
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人