![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
文章平均质量分 91
大数据工具学习
he3more
这个作者很懒,什么都没留下…
展开
-
kafka学习(一)-- 理论概念
文章目录消息队列什么是消息队列消息队列优点消息队列模式点对点模式发布/订阅模式kafka什么是kafkakafka基础架构kafka生产者分区策略分区原因分区原则数据可靠性保证副本同步策略方案一方案二(kafka采用)kafka选用方案2原因ISRACK(acknowledgement 确认收到)应答机制ACK三种可靠性级别Exactly Once 语义幂等性kafka消费者消费方式push模式pull模式(kafka采用)消息队列什么是消息队列我们可以把消息队列比作是一个存放消息的容器,当我们需要使原创 2021-01-17 18:23:01 · 159 阅读 · 0 评论 -
Flink学习(四)-- Flink常用流处理API
文章目录Flink流处理APIenvironmentcreateLocalEnvironmentcreateRemoteEnvironmentgetExecutionEnvironmentsourcefromCollection从本地集合获取readTextFile从文件获取socketTextStream 从网络套接字获取从kafka获取数据从其他自定义数据源获取transform 转换算子mapflatMapfilterkeyBy滚动聚合算子未完待续Flink流处理APIflink的流处理API主原创 2020-12-06 23:44:28 · 1023 阅读 · 0 评论 -
Flink学习(三) -- Java版流处理工程运行问题记录
根据Flink官网提供的Maven命令搭建工程$ mvn archetype:generate \ -DarchetypeGroupId=org.apache.flink \ -DarchetypeArtifactId=flink-walkthrough-datastream-java \ -DarchetypeVersion=1.11.2 \ -DgroupId=frauddetection \ -DartifactId=frauddetection \原创 2020-11-29 17:35:40 · 402 阅读 · 0 评论 -
Flink学习(二)-- Flink安装与简单使用
最近在学习Flink流处理框架,自己试着在机子上部署了个flink,这里以简单的local模式为例,安装方式较为简单,仅供学习之用,正式生产上使用的话主要有standalone集群模式,Yarn模式以及k8s部署这几种模式前置准备Java 1.8.x或更高版本首先确保自己机子上是否已经安装了jdk1.8或者更高版本,flink的运行是需要依赖于java环境的安装步骤下载这里以最新的flink-1.11.2版本为例官网:https://flink.apache.org/downloads原创 2020-11-22 19:59:05 · 379 阅读 · 0 评论