Storm流计算完整流程Demo 附代码
最近公司有项目要用到流计算,人手不足,我就入伙了,通过两天的学习搭建了一个小Demo,特此记录
原文链接:https://blog.csdn.net/weixin_44259356/article/details/100142397
前言
什么是大数据,流计算,Storm就不多说了,自行百度。
主要流程是通过RocketMQ发送和获取数据,然后通过JStorm计算拿取的数据,最后直接再本地控制台显示计算结果。
RocketMQ的安装可以参考如下:https://www.jianshu.com/p/4a275e779afa
maven搭建Storm可以项目参考如下:http://storm.apache.org/releases/2.0.0/Maven.html
那么重点如下:
Producer.class
发送数据到MQ
package RocketMq;
import org.apache.rocketmq.client.producer.DefaultMQProducer;
import org.apache.rocketmq.client.producer.SendResult;
import org.apache.rocketmq.common.message.Message;
public class Producer {
public static void main(String [] adsf){
Producer producer=new Producer();
producer.send();
}
public void send() {
DefaultMQProducer producer = new DefaultMQProducer("Producer");
producer.setNamesrvAddr("127.0.0.1:9876");
try {
producer.start();
SendResult result;
Message msg;
String strDate;
for(int i=0;i<100;++i) {
strDate="$:"+i;
msg = new Message("TestDate",
"push",
"key:"+i,
strDate.getBytes());
result = producer.send(msg);
System.out.println("id:" + result.getMsgId() +
" result:" + result.getSe