jstorm 读取mysql_jstorm集成kafka

本人是spark的拥趸，因为工作中需要用到jstorm，作记录如下。

pom.xml

com.alibaba.jstorm

jstorm-core

2.1.1

provided

org.slf4j

slf4j-nop

org.slf4j

slf4j-jdk14

org.slf4j

jcl-over-slf4j

org.apache.storm

storm-kafka

0.9.6

org.apache.kafka

kafka_2.11

0.9.0.1

org.apache.zookeeper

zookeeper

log4j

log4j

mysql

mysql-connector-java

5.1.6

commons-dbcp

commons-dbcp

1.4

redis.clients

jedis

2.6.3

javax.mail

mail

1.4.7

maven-compiler-plugin

3.1

1.7

1.7

utf8

View Code

没什么好说的，无非都是常规的东西。需要注意的是做好kafka的offset的维护。

其它需要注意的两点，异常消息的处理和限流。

异常消息的处理其实就是ack/fail的问题。使用BaseBasicBolt的话，它会自动帮你实现ack与fail。但需要手动抛出FailException。这样的话，一旦出现异常，整个topology就退出集群了，这是不可接受的。

无奈只有使用IRichBolt,手动去捕获异常。这样如果异常不是数据结构的问题，只是下游比如获取其它数据连接问题比如邮件服务器问题，那么失败了不去更新offset，下次启动的时候还能继续消费。也无需去手动重发。

如果需要重发的话，storm只能自己实现，jstorm可以通过以下方式：

public interface IFailValueSpout { void fail(Object msgId, Listvalues); }

想要实现ack/fail必须满足以下三点：

1. 在spout emit tuple的时候，要加上第3个参数messageid

2. 在配置中acker数目至少为1

3. 在bolt emit的时候，要加上第二个参数anchor tuple，以保持tracker链路

第1点，由于使用的是KafkaSpout，已经实现了。

第2点：

config.setNumAckers(1);

第3点：

collector.emit(input,new Values(map));

限流的问题，主要是考虑到可能会有的这么一种场景。如果jstorm集群意外退出，或者升级出现情况，导致长时间无法重启。而这时候kafka集群生产端消息源源不断在产生新的消息。当重启jstorm集群的时候，势必会导致消息大量涌入jstorm集群。

还有一种场景就是，消息量不稳定，时大时小，那么非常有必须设置这个参数进行限流。

那么这时候需要对消息进行限流。在spark streaming中可以对kafka每个分区每秒的消息数进行限制;考虑到如果直接写死一个值，在低谷期间会造成资源的浪费，可以通过资源实现情况来限流。

而jstorm则通过topology.max.spout.pending来设置。它表示jstorm集群中可能缓存也就是待消费的消息数。如果大于这个数，新的消息就不会进来。

如果需要在jstorm里面连接mysql或者redis，必须要在prepare里面初始化连接或者连接池。prepare执行次数与 parallelism_hint相关。

也可以通过storm-jdbc。