![](https://img-blog.csdnimg.cn/20190927151043371.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
中间件
文章平均质量分 87
示例中间件的使用
谢白羽
无论东西
展开
-
注册zookeeper为windows的服务
文章目录1.配置修改2.测试zk是否能正常启动3.服务注册1)把prunsrv.exe、prunmgr.exe复制到zookeeper的bin路径下2)新建一个install.bat文件,用于注册服务, 可以用记事本编辑3)新建一个zkServerStop.cmd文件,用于停止服务, 可以用记事本编辑4)4 配置zookeeper的环境变量(不会请自行百度),新建ZOOKEEPER_HOME和ZOOKEEPER_SERVICE,ZOOKEEPER_HOME是zookeeper的bin路径,后面是注册到Win原创 2021-11-03 00:48:03 · 830 阅读 · 0 评论 -
脚本一键安装JDK或JRE配置(大致是这样,有些小错误,以后再修改)
文章目录1.将下载好的jdk安装包和jre安装包拷贝到c盘根目录下。2.在c盘根目录下新建一个txt文件,文件名为JDKinstall,文件后缀修改成.bat后缀。3.右键点击刚刚新建好的JDKinstall.bat,点击“编辑”用记事本打开,复制以下内容到里面,并保存退出。4.在c盘根目录下再新建一个txt文件,文件名为JREinstall,文件后缀修改成.bat后缀。5.右键点击刚刚新建好的JREinstall.bat,点击“编辑”用记事本打开,复制以下内容到里面,并保存退出。6.依此 以管理员身份运行原创 2021-11-03 00:41:43 · 993 阅读 · 0 评论 -
Zookeeper的客户脚本及命令、ACL、zk集群搭建
文章目录1)启动zookeeper2)用客户端连接服务器3)创建节点4)删除节点5)读取节点6)修改节点1)启动zookeeperlinux[root@localhost bin]# sh zkServer.sh startZooKeeper JMX enabled by defaultUsing config: /usr/zookeeper/zookeeper-3.4.9/bin/../conf/zoo.cfgStarting zookeeper ... STARTED[root@loc原创 2021-11-03 00:22:46 · 193 阅读 · 1 评论 -
zookeeper的C客户端API介绍及编译测试程序(未完待续11/01,缺测试程序)
文章目录一、初始化、销毁 Zookeeper 句柄1)初始化zookeeper句柄2)销毁zookeeper句柄二、辅助函数1)设置日志等级2)获取客户端的 session id,只有在客户端的当前连接状态有效时才可以。3)返回当前会话的超时时间,只有在客户端的当前连接状态有效时才可以。4)获取 Zookeeper 句柄的上下文。5)设置 Zookeeper 句柄的上下文。6)设置 Zookeeper 句柄的全局监视器回调函数,该函数返回全局监视器的旧回调函数。7)返回当前 Zookeeper 连接的套接字原创 2021-11-01 19:16:40 · 2253 阅读 · 0 评论 -
安装kafka和zookeeper遇到的坑
文章目录一、找不到或无法加载主类 org.apache.zookeeper.server.quorum.QuorumPeerMain-新版本zookeeper易犯错误一、找不到或无法加载主类 org.apache.zookeeper.server.quorum.QuorumPeerMain-新版本zookeeper易犯错误解决方法:去zk的官网下载,别去github上下载release版本原因:1)总结:3.5.5之前也去官网下载tar包,3.5.5之后带有bin名称的包才是我们想要的下载可以直接原创 2021-11-01 10:45:37 · 1299 阅读 · 0 评论 -
磁盘I/O流程的场景分类和linux系统中的I/O调度策略
文章目录一、磁盘I/O的场景应用二、发起I/O请求的步骤可以表述为如下的内容(以最长链路为例)1)写操作(异步)2)读操作(同步)3)I/O请求处理三、linux系统中的I/O调度策略1)NOOP2)CFQ3)DEADLINE4)ANTICIPATORY5)文件层面对kafka的影响一、磁盘I/O的场景应用一般磁盘I/O的场景有以下四种(1)用户调用标准C库进行I/O操作,数据流为:应用程序buffer→C库标准IObuffer→文件系统页缓存→通过具体文件系统到磁盘。(2)用户调用文件 I/O原创 2021-10-31 21:58:37 · 383 阅读 · 0 评论 -
kafka高性能原因分析(想到就写,持续更新,7/15):顺序读写、页缓存、零拷贝
文章目录1.顺序读写磁盘2.页缓存(把磁盘中的数据存到内存中,把对磁盘的操作变为对内存的访问)3.零拷贝技术1.顺序读写磁盘各个存储介质的速度层级顺序读写和随机读写对比有关测试结果表明,一个由6块7200r/min的RAID-5阵列组成的磁盘簇的线性(顺序)写入速度可以达到600MB/s,而随机写入速度只有100KB/s,两者性能相差6000倍。操作系统可以针对线性读写做深层次的优化,比如预读(read-ahead,提前将一个比较大的磁盘块读入内存)和后写(write-behind,原创 2021-10-31 19:52:21 · 439 阅读 · 0 评论 -
通过一些问题深入了解kafka:①如何选择合适分区数、(未完待续10/31)
文章目录补充:关于参数解读,请看这个链接一、如何选择合适的分区数1.1 性能测试工具(这里用kafka脚本去测试)1)生产者举例:向一个只有一个分区和一个副本的主题topic-1中发送100W条信息,并且每条信息大小为1MB,生产者对应的acks参数为12)生产者脚本参数说明3)消费者脚本4)消费者参数说明1.2 分区数越多吞吐量就越高吗1)背景:2)测试原理3)测试环境4)测试脚本命令5)测试结果6)总结:1.3 分区数的上限(跟文件描述相关)1.4 考量因素二、三、补充:关于参数解读,请看这个链接传原创 2021-10-31 15:56:10 · 1052 阅读 · 2 评论 -
kafka线上部署
文章目录一、kafka网络模型二、kafka零拷贝技术的支持三、机械硬盘HDD和固态硬盘SSD的抉择四、普通磁盘JBOD和磁盘阵列RAID的抉择五、关于NAS网络设备的考虑六、磁盘容量规划七、内存规划八、kafka的CPU规划(与redis的对比)九、带宽规划十、线上部署环境配置(推荐配置)一、kafka网络模型二、kafka零拷贝技术的支持三、机械硬盘HDD和固态硬盘SSD的抉择四、普通磁盘JBOD和磁盘阵列RAID的抉择五、关于NAS网络设备的考虑六、磁盘容量规划七、内存规划八、kafk原创 2021-10-26 20:46:41 · 466 阅读 · 0 评论 -
kafka脚本命令、配置解读
文章目录1.常用命令总结1)kafka-topic.sh 脚本相关常用命令,主要操作 Topic(主题增删查改)2)kafka-consumer-groups.sh 脚本常用命令,主要用于操作消费组相关的()3)kafka-consumer-offset-checker.sh 脚本常用命令,用于检查 OffSet 相关信息。(注意:该脚本在 0.9 以后可以使用 kafka-consumer-groups.sh 脚本代替,官方已经标注为 deprecated (v.对…表示极不赞成; 强烈反对 )了)4)k原创 2021-10-22 14:37:23 · 679 阅读 · 0 评论 -
市面上消息队列的对比(想到就写点,持续更新,7/15)
文章目录1.RabbitMQ2.Redis3.ZeroMQ4.ActiveMQ5.Kafka/Jafka1.RabbitMQRabbitMQ是使用Erlang编写的一个开源的消息队列,本身支持很多的协议:AMQP,XMPP, SMTP, STOMP,也正因如此,它非常重量级,更适合于企业级的开发。同时实现了Broker构架,这意味着消息在发送给客户端时先在中心队列排队。对路由,负载均衡或者数据持久化都有很好的支持。2.Redis简介Redis是一个基于Key-Value对的NoSQL数据原创 2021-10-22 10:56:08 · 483 阅读 · 0 评论 -
分布式消息队列kafka讲解二(C/C++librdkafka客户端10/21未完待续)
文章目录1.生产者1)流程2)参数备注3)代码(c风格代码)2.消费者1)流程2)参数备注3)代码3.主题和分区4.日志存储5.深入服务器6.深入客户端7.可靠性探究8.kafka应用9.kafka监控10.kafka高级应用版本信息:librdkafka版本0.11.6Kafka版本2.11-2.3.001.生产者1)流程1.初始化配置2.创建初始化kafka配置信息3.根据broker修改kafka配置bootstrap.server4.设置消息回调函数,这个消息回调函数的作用原创 2021-10-21 21:05:20 · 811 阅读 · 0 评论 -
zookeeper和kafka的配置及运行、kafka的生产和消费(简单linux命令行)、服务器参数配置了解
文章目录1.从git上安装及单机配置和启动zk2.zk集群的搭建1)简历域名映射2)修改三台zk的配置(zoo.cfg里面修改)3)启动zk服务器1.从git上安装及单机配置和启动zk安装包可以从官网中获得,示例中使用的安装包是zookeeper-3.4.12.tar.gz,同样将其复制到/opt目录下,然后解压缩,参考如下:向/etc/profile配置文件中添加如下内容,并执行source/etc/profile命令使配置生效:第三步,修改 ZooKeeper 的配置文件。首先进入$ZO原创 2021-10-21 15:56:27 · 2591 阅读 · 1 评论 -
安装windows的scala和gradle
文章目录1.背景(配置)2.windows安装scala配置(编译kafka用到)3.windows10安装gradle1.背景(配置)kafka版本2.11zk版本3.4.6scala版本:2.11.12jdk:1.8.0(默认安装好jdk、kafka、zk,怎么安装看传送门)2.windows安装scala配置(编译kafka用到)接下来,我们可以从 Scala 官网地址 http://www.scala-lang.org/downloads 下载 Scala 二进制包(页面底部),原创 2021-10-20 16:57:00 · 96 阅读 · 0 评论 -
安装librdkfaka和windows编译
文章目录1.查看kafka是否启动2.linux安装librdkafka(0.11)3.windows安装librdkafka(0.11)1.查看kafka是否启动法一:ps -elf|grep kafka法二:jps显示的有进程号代表成功,没有的话,看法一也能找到的就没事2.linux安装librdkafka(0.11)cd librdkafka-0.11.0/sudo chmod 777 configure lds-gen.pysudo ./configuresudo mak原创 2021-10-18 21:18:32 · 1716 阅读 · 0 评论 -
zookeeper选举leader原理及运行流程
文章目录介绍:zookeeper是一个开源、分布式的,为分布式系统提供协调管理服务的开源软件介绍在分布式系统中,有大量的微服务协同对外提供服务,这时需要一个稳定的、安全的协调管理工具,负责管理和协调这些微服务cap原则:①数据一致性,举例:用户连接上一个节点,修改密码,突然断开连接上另外一个节点时,也能登录上,体现了一致性②可用性:举例,一个节点宕机后,也能顺利连接上另外一个节点(合理的时间内得到合理的结果)③分区容错性:假如上海和深圳机房断开连接了,依然能对外提供一致原创 2021-10-18 21:17:35 · 382 阅读 · 0 评论 -
kafka安装及配置(跨平台:windows和linux安装都有,包括zk和jdk安装)
文章目录1.jdk安装1)windows安装jdk1.下载2.安装3.环境配置2)linux安装jdk2.zookeeper安装1)windows安装2)linux安装1.tar -xzvf 文件目录 -C 目标目录。如下图:2.配置3.启动3.安装启动kafka1)windows安装启动kafka2)linux安装启动kafka1.jdk安装1)windows安装jdk1.下载打开如下链接:http://www.oracle.com/technetwork/java/javase/download原创 2021-10-15 20:53:03 · 748 阅读 · 0 评论 -
分布式消息队列kafka了解及选举方式讲解一(差延迟性队列)
文章目录1.kafka简单介绍2.分布式队列的优点3.分布式消息典型应用4.kafka体系结构5.kafka基础概念1)主题:2)存储:3)zookeeper在kafka中的作用:6.补充各种选举的方式7.kafka生产消费模式:1)点对点2)订阅发布模式8.kafka读写流程及效率一些问题总结1.分区信息存储在哪里?2.生产到哪个分区?3.怎么确保写流程消息一定能够到达?4.读流程从哪里开始消费?4.1 从哪里开始消费?(需要知道具体分区消费到哪个位置)4.2 消费者组如何消费?(消费者组与partiti原创 2021-10-14 20:53:42 · 574 阅读 · 0 评论