2018年12月_qq_42809504

转载 Kafka学习笔记

Kafka是一个开源的，分布式的，高吞吐量的消息系统。随着Kafka的版本迭代，日趋成熟。大家对它的使用也逐步从日志系统衍生到其他关键业务领域。特别是其超高吞吐量的特性，在互联网领域，使用越来越广泛，生态系统也越来的完善。同时，其设计思路也是其他消息中间件重要的设计参考。Kafka原先的开发初衷是构建一个处理海量日志的框架，基于高吞吐量为第一原则，所以它对消息的可靠性以及消息的持久化机制考虑的...

2018-12-21 17:45:02 242

转载 Kafka的Leader的选举机制

卡夫卡的领袖是什么首先卡夫卡会将接收到的消息分区（分区），每个主题（主题）的消息有不同的分区。这样一方面消息的存储就不会受到单一服务器存储空间大小的限制，另一方面消息的处理也可以在多个服务器上并行。其次为了保证高可用，每个分区都会有一定数量的副本（复制品）。这样如果有部分服务器不可用，副本所在的服务器就会接替上来，保证应用的持续性。但是，为了保证较高的处理效率，消息的读写都是在固定...

2018-12-20 16:05:53 2282 1

转载分布式消息中间件——kafka

在我们大量使用分布式数据库、分布式计算集群的时候，是否会遇到这样的一些问题： l 我想分析一下用户行为（pageviews），以便我能设计出更好的广告位l 我想对用户的搜索关键词进行统计，分析出当前的流行趋势。这个很有意思，在经济学上有个长裙理论，就是说，如果长裙的销量高了，说明经济不景气了，因为姑娘们没钱买各种丝袜了。l 有些数据，我觉得存数据库浪费，直接存硬盘又怕到时候操...

2018-12-19 15:15:05 178

转载 Kafka监控工具KafkaOffsetMonitor配置及使用

一、KafkaOffsetMonitor简述KafkaOffsetMonitor是Kafka的一款客户端消费监控工具，用来实时监控Kafka服务的Consumer以及它们所在的Partition中的Offset，我们可以浏览当前的消费者组，并且每个Topic的所有Partition的消费情况都可以一目了然。二、KafkaOffsetMonitor下载KafkaOffsetMonito...

2018-12-19 14:20:48 211

转载 kafka 创建消费者报错 consumer zookeeper is not a recognized option

[root@test-90 kafka_2.9.1-0.8.2.1]# bin/kafka-console-producer.sh --zookeeper 192.168.89.90:2181 --topic testException in thread "main" joptsimple.UnrecognizedOptionException: 'zookeeper' is not a re...

2018-12-19 11:27:43 1166

转载 IDEA让manven项目自动依赖jar包

当我们用manven构建项目的时候，我们在pom.xml中删除一个依赖或者添加一个依赖，发现依赖还是没有改变，我们可以进行设置，在File->Settings->Build、Execution、Deployment中的maven->Importing中设置Automatically download中选中sources！如果发现没有自动依赖，那还必须打开Ma...

2018-12-15 09:28:01 481

原创 zookeeper启动报mkdir: 无法创建目录"": 没有那个文件或目录

Using config: /usr/local/java/zookeeper-3.4.6/bin/../conf/zoo.cfggrep: /usr/local/java/zookeeper-3.4.6/bin/../conf/zoo.cfg: 没有那个文件或目录mkdir: 无法创建目录"": 没有那个文件或目录Starting zookeeper ... STARTED 解决方...

2018-12-14 20:42:27 10763 2

转载 linux下升级jdk版本

背景：Centos将JDK从1.7升级到1.8sudo yum install java-1.8.0 sudo yum remove java-1.7.0-openjdk

2018-12-14 19:58:16 910

qq_42809504的博客