Kafka为什么那么快的秘密

网上有很多Kafka的测试文章,测试结果通常都是“吊打”其他MQ。感慨它的牛B之余我觉得必要仔细分析一下它如此快速的原因。这篇文章不同于其他介绍Kafka使用或者技术实现的文章,我会重点解释——为什么真快。(当然不是因为它用了Scala!!!!) 生产者(写入数据) 生产者(producer)...

2019-01-20 14:05:57

阅读数 62

评论数 1

关于Kafka 的消息日志Offset 的了解

转:http://blog.csdn.net/looklook5/article/details/42008079 之前在做Kafka 整合Storm的时候,因为对Kafka 不是很熟,考虑过这样的一个场景问题,针对一个Topic,Kafka消息日志中有个offset信息来标注消息的位置,Sto...

2019-01-19 18:45:26

阅读数 71

评论数 0

kafka的High Level Consumer Rebalance

前言 kafka的consumer分为High Level Consumer和Low Level Consumer。本文主要讲High Level Consumer Rebalance,至于High Level Consumer和Low Level Consumer Rebalance的具体内容...

2019-01-19 13:08:10

阅读数 51

评论数 0

如何为Kafka集群选择合适的Partitions数量

        这是许多kafka使用者经常会问到的一个问题。本文的目的是介绍与本问题相关的一些重要决策因素,并提供一些简单的计算公式。 文章目录 1 越多的分区可以提供更高的吞吐量 2 越多的分区需要打开更多地文件句柄 3 更多地分区会导致更高的不可用性 ...

2019-01-19 12:39:24

阅读数 43

评论数 0

kafka的leader选举过程(详细)

前言 要理解kafka的leader选举,先了解下zookeeper的基本操作 zookeeper的基本操作 备注:本章主要是指作为zookeeper的客户端的基本操作 1)四种节点类型 PERSISTI   PERSIST_SEQUENTIAL   EPHEMERAL    EPHEM...

2019-01-12 22:03:57

阅读数 192

评论数 0

zookeeper的广播模式和恢复模式

zookeeper是什么 zookeeper是一个高性能分布式应用协调服务。zookeeper主要可以提供如下的服务:(1)Naming Service;(2)配置管理;(3)Leader Election;(4)服务发现;(5)同步;(6)Group Service;(7)Barrier;(8...

2019-01-05 12:46:26

阅读数 610

评论数 5

kafka的数据副本机制(详细解读)

前言 为了数据的安全性,我们在实际的工作中,不可避免的需要考虑kafka的数据备份问题,否则数据丢失了,就无法恢复了。所以数据的备份机制是很重要的。 副本介绍 正常情况下,kafka里的数据都不能只有一份。假设我们保存了N个副本,即topic每个partition都有N个副本(Replica...

2018-12-30 22:42:55

阅读数 442

评论数 0

使用filesystemxmlapplicationcontext,绝对路径不生效问题

前言 很多人在使用filesystemxmlapplicationcontext(“绝对路径”),即使加了绝对路径时,发现任然是无效的。例如下图的代码,运行后任然是无效的。 ApplicationContext fsxac = new FileSystemXmlApplicationCont...

2018-12-26 19:54:20

阅读数 59

评论数 0

CAP理论

前言 CAP理论是Consistency、Availability和Partition tolerance这单个单词的缩写。 1)Consistency(一致性) 强一致性:数据更新后,可以立即感知到该更新。 弱一致性:数据更新后,允许部分或者全部感知不到该更新。 最终一致性:数据更新后...

2018-12-24 22:55:54

阅读数 30

评论数 0

XML语法

前言        xml是一种可扩展的标记语言,在语法上与HTML相似,但HTML的标签是固定不变的,而xml的标签是可以用户自定义的。W3C在1998年2月发布了1.0版本,2004年2月又发布了1.1版本,但因为1.1版本不能兼容1.0版本,所以很少用1.1版本的。 以下是一个xml实例...

2018-12-24 22:40:48

阅读数 23

评论数 0

MySQL无法使用索引的情况(最简洁,最通俗的语言表述)

一、加了单索引依然全表扫描的情况 1)没有使用where语句,无法使用索引 2)有where语句,但是where语句里使用了 !=或<>或not或like的情况,无法使用索引。 二、加了混合索引依然全表扫描的情况 假设设置了混合索引(c1,c2,...

2018-11-07 22:48:46

阅读数 37

评论数 0

多线程学习笔记

一、使用同步代码块和同步方法的弊端  1、何为同步代码块 synchronized (锁对象) {可能会产生线程安全问题的代码} 或者同步方法 public synchronized void fun() {} 2、弊端 同步代码块释放锁的情况不明了,假设进程拿到锁了,但是在还未释放锁的...

2018-11-01 22:55:26

阅读数 38

评论数 0

IDEA,代码缩略简化展示,点击后才能完整展示

问题: idea的代码例如,set,get等,刚打开的时候都是缩略展示,只有点击的时候才能完整展示。 解决: 把红框里的去掉即可解决。

2018-10-23 15:51:29

阅读数 394

评论数 0

Presto老自动重启的解决方案

前文 使用presto跑任务的时候,基本上每隔30分钟就自动重启。 情况分析 由于项目需要跑一定历史时期的数据,为了加快运行速度。增加了并行的sql数。 解决 提高内存。...

2018-09-15 15:26:09

阅读数 120

评论数 0

exceptions.jdbc4.MySQLIntegrityConstraintViolationException: Column 'serverid' cannot be null

前文: 第一次使用presto,之前一直用的impala。两个的sql语法还是有一些不同的。之前的一个sql在impala计算是没有问题的,但是同样的sql在presto里跑,老报jdbc4.MySQLIntegrityConstraintViolationException: Column '...

2018-09-12 10:32:36

阅读数 148

评论数 0

hibernate:XXX is not mapped问题的解决

写HQL时,要对应实体类的名字而不是表名。

2018-06-27 13:02:33

阅读数 218

评论数 0

idea maven下的pom里添加了依赖但是无效(如果你试便所有方法都不行,可以按照本文的方法)

前文 如果你已经试过如下方法各种方法,处理这个问题,但任然不起作用。 (1)Reimport,  (2)update poject,  (3)删除依赖再从新添加,  (4)之前导入过类似的jar包,但是失败了,需要在本地仓库中把它删除了,  原因 就可以断定是下载出了问题 解决方法...

2018-05-09 17:09:06

阅读数 1853

评论数 0

MYSQL的日期和时间类型格式(详细介绍)

前言 DATETIME 8字节 DATE 3字节 TIMESTAMP 4字节 YEAR 1字节 TIME 3字节 * DATETIME 和 DATE (1)datetime占用了8个字节,是占用空间比较多的一...

2018-04-23 19:12:49

阅读数 154

评论数 0

hive和mysql书写顺序

mysql写的顺序 select....from....group by....having.....order by.....limit mysql执行顺序 from....on.....join....where....group by.....having....select........

2018-04-20 17:56:29

阅读数 88

评论数 0

You have an error in your SQL syntax; check the manual that corresponds to your MySQL server versio

原因 sql语法错误。例如,单词写错,标点符号错误,sql格式错误,,, 方法 从报错语句处查找,一般都能找到错误所在。

2018-04-19 15:48:33

阅读数 56

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭