- 博客(10)
- 资源 (2)
- 收藏
- 关注
原创 第二章 深入理解RocketMQ消息笔记
一、深入消息模式RocketMQ提供两个模式进行消费1、拉模式代码上使用DefaultMQPullConsumer1)获取MessageQueues并遍历(一个Topic包括多个MessageQueue),如果是特殊情况,也可以选择指定的MessageQueue来读取消息。2)维护Offsetstore,从一个MessageQueue里拉取消息时,要传入Offset参数,随着不...
2019-10-31 17:02:58 1173 1
原创 第一章 RocketMQ入门笔记
一、RocketMQ介绍kafka最初是LinkedIn的一个内部基础设施系统。最初开发的起因是LinkedIn虽然有了数据库和其他系削峰填谷的能力,同时也具备互联网应用所需的海量消息堆积、高吞吐、可靠重试等特性,是阿里巴巴双11使用的核心产品。RocketMQ的设计基于主题的发布与订阅模式,其核心功能包括消息发送、消息存储(Broker)、消息消费,整体设计追求简单与性能第一。1)Nam...
2019-10-30 23:02:00 447
原创 第五章 数据管道和流式处理笔记
一、数据管道基本概念在使用Kafka构建数据管道时,通常有两种使用场景:第一种:把Kafka作为数据管道的两个端点之一,例如,把Kafka里的数据移动到云上,或者把MongoDB里的数据移动到Kafka里;第二种:把Kafka作为数据管道两个端点的中间媒介,例如,为了把DB的数据移动到ElasticSearch上,需要先把它们移动到Kafka里,再将它们从Kafka移动到Elastic Sea...
2019-10-29 22:15:00 1379
原创 第四章 Spring和Kafka的整合笔记
一、与Spring集成其实Spring和Kafka的集合,Spring是把Kafka当做一个消息中间件(MQ)来用,灵活性对比原生API还是没有那么灵活。具体代码实现,参见kafka-with-spring模块。1、pom文件<dependency><groupId>org.springframework.kafka</groupId>...
2019-10-29 22:05:24 672
原创 第三章 深入理解Kafka笔记
一、kafka核心机制1、集群的成员关系Kafka使用zookeeper来维护集群成员的信息,每个broker都有个唯一标识符,这个标识符可以在配置文件里指定,也可以自动生成。在broker启动的时候,它通过创建临时节点把自己的ID注册到zoo-keeper。Kafka组件订阅Zookeeper的/brokers/ids路径(broker在zookeeper上的注册路径),当有b...
2019-10-23 20:39:06 389
原创 第二章 kafka进阶笔记
一、第一个Kafka程序1、创建我们的主题创建主题命令如下:kafka-topics.bat --zookeeper localhost:2181/kafka --create --topic hello-kafka --replication-factor 1 --partitions 42、生产者发送消息 我们这里使用Kafka内置的客户端API开发kafka应用程序。因为我们...
2019-10-20 00:00:31 586
原创 第一章 kafka入门笔记
一、Kafka简介1、什么是Kafkakafka最初是LinkedIn的一个内部基础设施系统。最初开发的起因是LinkedIn虽然有了数据库和其他系统可以用来存储数据,但是缺乏一个可以帮助处理持续数据流的组件。所以在设计理念上,开发者不想只是开发一个能够存储数据的系统,如关系数据库Nosql数据库、搜索引擎等等,更希望把数据看成一个持续变化和不断增长的流,并基于这样的想法构建出一个数据系统...
2019-10-19 12:03:25 446
原创 第四章 Spring集成和实战笔记
一、与 Spring 集成—生产者端具体代码实现,参见rq-spring-with和rq-spring-with-consumer模块1、pom文件 使用Maven,这里项目中使用的4.3.11,所以这里引入的是rabbit是2.0.0,如果兼容性的话请自行去Spring的官网上去查。<dependency><groupId>org.springf...
2019-10-10 10:13:18 208
原创 第三章 MQ消息的消费与拒绝笔记
一、消息的消费1、可靠性和性能的权衡2、消息的获得方式 2.1、拉取 Get 属于一种轮询模型,发送一次get请求,获得一个消息。如果此时RabbitMQ中没有消息,会获得一个表示空的回复。总的来说这种方式性能比较差,很明显每获得一条消息,都要和RabbitMQ进行网络通信发出请求。而且对RabbitMQ来说,RabbitMQ无法进行任何优化,因为它永远不知道应用程序何时...
2019-10-10 09:57:09 1503
原创 第二章 RabbitMQ安装使用
一、RabbitMQ安装和运行1、在Linux中安装RabbitMQ演示##在Linux中安装RabbitMQ演示,以VirtualBox中的虚拟机为操作系统载体##操作系统版本为CentOS7,纯净未安装RabbitMQ#以root用户安装su - root##安装wget https://packages.erlang-solutions.com/erlang-so...
2019-10-09 22:45:00 516
sentinel-dashboard1.7.2-Nacos.jar
2020-07-06
并发编程笔记20190526.docx
2020-07-01
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人