storm入门之矩阵乘法程序

最近开始学storm,模仿《get started with storm》中给出单词计数的例子改写了一个进行矩阵乘法运算的storm程序,用以入门storm,下面是代码及注释首先构造一个Topologyimport org.apache.storm.Config;import org.apache.storm.LocalCluster;import org.apache.storm.t
摘要由CSDN通过智能技术生成

最近开始学storm,模仿storm入门教程中给出单词计数的例子改写了一个进行矩阵乘法运算的storm程序,用以入门storm,下面是代码及注释

首先构造一个Topology

import org.apache.storm.Config;
import org.apache.storm.LocalCluster;
import org.apache.storm.topology.TopologyBuilder;
import org.apache.storm.tuple.Fields;

public class TopologyGo {
	public static void main(String args[]) throws InterruptedException {
		TopologyBuilder builder = new TopologyBuilder();
		builder.setSpout("matrix-spout",new MatrixReader());	//用于读取存储矩阵文件的spout
		builder.setBolt("matrix-dealer",new MatrixDealer())	//用于进行矩阵运算的bolt
		.shuffleGrouping("matrix-spout");			//用随机数据流组进行连接
		
		
		Config conf = new Config();
		conf.put("matrixFile", "/home/nfs/input/storm/matrixFile");	//在conf中存入要读取的文件地址
		conf.setDebug(false);	//debug设置
		
		conf.put(Config.TOPOLOGY_MAX_SPOUT_PENDING, 1);	
		LocalCluster cluster = new LocalCluster();
		cluster.submitTopology("deal-matrix", conf, builder.createTopology());	//提交Topology
		Thread.sleep(100000);	//等待100000ms后关闭storm(主要目的是测试)
		cluster.shutdown();
	}

}

spout负责读取数据,下面是作为spout的MatrixReader

import java.io.BufferedReader;
imp
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值