![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
中间件
文章平均质量分 68
笔墨新城
stay hungry stay foolish(饥渴求知,虚怀若愚)
展开
-
Kafka 是如何保证数据可靠性和一致性
Kafka 是如何保证数据可靠性和一致性1、kafka的可靠性为了保证数据可靠性,https://blog.csdn.net/mengfeichuan2013/article/details/1173551621.1 Topic 分区副本1.2 Producer 往 Broker 发送消息kafka使用了ack机制。1.3 Leader 选举为了保证数据的可靠性,我们最少需要配置一下几个参数:•producer 级别:acks=all(或者 request.required.acks=-1原创 2022-05-07 09:02:40 · 1062 阅读 · 0 评论 -
零拷贝-Kafka和RokcetMQ高性能底层
1.什么是零拷贝WIKI中对其有如下定义:“Zero-copy” describes computer operations in which the CPU does not perform the task of copying data from one memory area to another.从WIKI的定义中,我们看到“零拷贝”是指计算机操作的过程中,CPU不需要为数据在内存之间的拷贝消耗资源。而它通常是指计算机在网络上发送文件时,不需要将文件内容拷贝到用户空间(User Space)原创 2022-04-15 11:09:42 · 251 阅读 · 0 评论 -
下一代消息队列pulsar
前言最近由于业务需求,接触了一个新的中间件,Apache Pulsar。什么是pulsar? 它是做什么的? 它与kafka 有什么区别?1、什么是pulsar?Apache Pulsar是由Yahoo开发并开源的下一代发布订阅消息系统。Pulsar用于解决现有开源消息系统的不足,并已在Yahoo的生产环境中运行了三年多时间,助力Yahoo的主要应用,如Yahoo Mail、Yahoo Finance、Yahoo Sports、Flickr、Gemini广告平台和Yahoo的分布式键值存储系统She原创 2021-10-08 13:26:14 · 382 阅读 · 0 评论 -
kafka单机版环境搭建
前言最近把kafak的数据导入到clickhouse,所以安装一个单机版的kakfa感受下。1.zookeeper安装要装kafka,它依赖zookeeper,所以要先安装zookpeer。zookeeper 下载https://zookeeper.apache.org/releases.htmlwegt https://mirrors.bfsu.edu.cn/apache/zookeeper/zookeeper-3.6.3/apache-zookeeper-3.6.3.tar.gz在能文原创 2021-04-30 20:23:33 · 1010 阅读 · 2 评论 -
Tair 分布式key/value存储系统
1. 什么是tair?Tair是由淘宝网自主开发的Key/Value结构数据存储系统,是高可用,高性能的NoSQL数据库,在淘宝网有着大规模的应用。您在登录淘宝、查看商品详情页面或者在淘江湖和好友“捣浆糊”的时候,都在直接或间接地和Tair交互。2.tair 的功能Tair是一个Key/Value结构数据的解决方案,它默认支持基于内存和文件的两种存储方式,分别和我们通常所说的缓存和持久化存储对应。Tair除了普通Key/Value系统提供的功能,比如get、put、delete以及批量接口外,还有一原创 2021-02-28 16:08:45 · 294 阅读 · 2 评论 -
Kafka 基础概念和使用原理
什么是 kafka?第一个特性是类MQ的发布订阅特性,第二个特性就是具备容错的存储能力,第三个特性是处理数据。所以kafka可以替代ActiveMQ这类消息中间件。kafak 工作原理 Producer:Producer即生产者,消息的产生者,是消息的入口。 kafka cluster: Broker:Broker是kafka实例,每个服务器上有一个或多个kafka的实例,我们姑且认为每个broker对应一台服务器。每个kafka集群内的broker都有一个不重复的编号,如图中的bro原创 2021-01-26 21:14:01 · 333 阅读 · 0 评论 -
ActiveMQ使用记录
ActiveMQ使用手册1.JMS(Java Message Service) 是什么它是一种与厂商无关的API,用来访问消息收发系统消息。它类似于JDBC,JDBC是可以用来访问不同关系数据库的API,而JMS则提供同样与厂商无关的访问消息收发服务的方法,这样就可以通过消息收发服务实现从一个JMS客户机向另一个JMS客户机发送消息,所需要的是厂商支持JMS。换句话说,JMS是Java平台上有关面向消息中间件的技术规范。 ActiveMQ是由Apache出品的,一款最流行的, 能力强劲的消息中间件原创 2020-08-09 18:14:38 · 321 阅读 · 0 评论