![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
分布式
文章平均质量分 64
2020GetGoodOffer
已经不玩csdn了,文章收费是系统自动设置的,与我无关,我也不会取消,被人说文章收费登上来看了一眼,卸载了
展开
-
【从安装JDK开始】Spring Cloud + Apache Ignite简单实例
从安装JDK开始,手把手教SpringCloud + Apache Ignite,超通俗易懂实例!原创 2022-09-07 22:37:07 · 957 阅读 · 0 评论 -
Flink数据分流&Flink与Kafka的连续读写交互
Flink的旁路输出特性可以用来对数据进行分流,通过是通过创建一个流的标签(OutputTag),再利用这个OutputTag标签对象作为参数,调用初始/父级数据流的getSideOutput(OutputTag)方法获取子数据流。由于每个流标签都有一个id,因此不需要创建对象,只要流标签的id相同,其中的数据就相同。因此可以通过匿名内部类的形式来获取子数据流。例:对初始字符串进行数据分类,将字母、数字、符号分发到不同的子数据流中进行处理。public class Producer { pu原创 2022-03-10 17:48:28 · 3033 阅读 · 0 评论 -
storm迁移flink研究——如何利用Flink对数据进行分流,按自定义逻辑分阶连续处理
Storm迁移flink主要问题:Storm通过自定义的Bolt类实现自己的业务逻辑,如何在flink中实现通过flink的ProcessFuction类实现,可以通过继承该类,在processElement方法中实现自己的业务逻辑。Storm按照业务类型分发数据处理的逻辑,如何在flink中实现通过flink的旁路输出特性实现,对原始的数据流按照某些分类标准分类,输出到不同的子数据流中处理。总体处理流程:Flink从Kafka中读取数据,作为初始数据流initDataStream;原创 2022-03-03 17:54:32 · 2210 阅读 · 0 评论 -
storm简单实例+如何将storm任务迁移至flink处理研究
基础storm程序示例Storm的流处理主要就是通过Spout和Bolt节点进行处理,可以继承这些类写自己的逻辑public class FlinkStormDemo { public static void main(String[] args) { //1.创建执行环境 LocalCluster stormCluster = new LocalCluster(); TopologyBuilder builder = new TopologyB原创 2022-03-02 11:13:53 · 2573 阅读 · 0 评论 -
Flink旁路输出特性简单实例:按照股价对股票进行数据分流并写出到文本文件
关于旁路输出的官方文档:https://nightlies.apache.org/flink/flink-docs-release-1.14/zh/docs/dev/datastream/side_output/除了由 DataStream 操作产生的主要流之外,我们还可以产生任意数量的旁路输出结果流。结果流中的数据类型不必与主要流中的数据类型相匹配,并且不同旁路输出的类型也可以不同。使用旁路输出时,首先需要定义用于标识旁路输出流的OutputTag类对象。构造方法的第一个参数表示一个区分旁路输出流的原创 2022-02-24 16:04:14 · 2249 阅读 · 0 评论 -
Flink简单使用手册
Flink简单使用教程一、基础1.1 环境配置在pom.xml引入flink<dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-java</artifactId> <version>1.11.0</version></dependency><dependency> <groupId>org原创 2022-02-23 22:34:19 · 3659 阅读 · 0 评论 -
通过HTTP请求终止自定义Spring Cloud微服务节点(用不了我吃屎)
在可能需要被终止的微服务的pom.xml中引入spring-boot-actuator的依赖<dependencies> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-actuator</artifactId> </dependency>&..原创 2021-12-23 21:48:09 · 453 阅读 · 0 评论 -
Spring 整合 kafka
在 kafka 官网下载,然后解压缩。首先配置 zookeeper,打开 config 里面的 zookeeper.properties配置数据存放路径,自己任意设置再配置 server.properties修改以下配置测试启动,由于 kafka 安装在 d 盘 kafka 目录,需要先进入该目录启动 zookeeper打开一个新的命令行窗口,启动 kafka创建一个名为 test 的主题,副本数和分区数为 1,使用 list 命令查询创建的主题用生产者命令向 test 主原创 2020-07-26 12:13:43 · 503 阅读 · 0 评论 -
【菜鸟教程】Kafka消息队列入门下(IDEA操作Kafka)
生产者消息发送流程Kafka 的 Producer 发送消息采用的是异步发送的方式。在消息发送的过程中,涉及到了两个线程main 线程和 Sender 线程,以及一个线程共享变量RecordAccumulator。main 线程将消息发送给 RecordAccumulator,Sender 线程不断从 RecordAccumulator 中拉取消息发送到 Kafka broker。相关参...原创 2020-04-10 19:11:59 · 2006 阅读 · 1 评论 -
【菜鸟教程】Kafka消息队列入门中(生产者、消费者、数据一致性)
工作流程如下图,topicA是一个3分区2副本的topic,2副本表示leader和follower加起来一共为2。注意leader和follower是不在一个broker的,即不在一台服务器,否则服务器故障时会一起挂掉,备份将没有意义。offset是每个分区独立的,而不是全局性的,如图可以看到每个分区中offset都是从0开始的。并且消费者组中的消费者不能消费同一个分区的内容。Kafka ...原创 2020-04-08 16:12:43 · 7730 阅读 · 0 评论 -
【菜鸟教程】Kafka消息队列入门上(安装、集群搭建、基本命令行操作)
概述定义Kafka 是一个分布式的基于发布/订阅模式的消息队列(Message Queue),主要应用于大数据实时处理领域。消息队列什么是消息队列呢?例如在网站注册时,一般是同步的,当接收到短信后网页才会提示注册成功。如果使用消息队列就可以实现异步处理,发送短信和页面注册成功响应是异步的,不必等到发送了短信才会响应。可以参照下图来理解消息队列的作用:消息队列的优点:解耦允许...原创 2020-04-07 17:45:46 · 3822 阅读 · 0 评论 -
【菜鸟教程】Dubbo基础入门下——Dubbo的入门案例
hm视频还是有点粗…源码分析跟没讲一样 要学深入的话还是买书吧Dubbo高可用服务路由服务路由包含一条路由规则,路由规则决定了服务消费者的调用目标,即规定了服务消费者可调用哪些服务提供者,Dubbo提供三种服务路由实现,分别为条件路由ConditionRouter、脚本路由ScriptRouter、标签路由TagRouter。条件路由规则的格式:【服务消费者匹配条件】=>【服务提供者...原创 2020-04-06 14:13:11 · 1363 阅读 · 0 评论