本章主题:
简单的描述如何用Storm来写一个Crawler的工具。
阅读背景:
1: 您可能需要了解基本的爬虫知识。
2:您可能需要对HTTP协议有初步了解。
3:您可能需要对Storm计算的逻辑有初步的了解。
package com.digitalpebble.storm.crawler;
import backtype.storm.Config;
import backtype.storm.LocalCluster;
import backtype.storm.StormSubmitter;
import backtype.storm.topology.TopologyBuilder;
import backtype.storm.tuple.Fields;
import com.digitalpebble.storm.crawler.bolt.IPResolutionBolt;
import com.digitalpebble.storm.crawler.bolt.indexing.IndexerBolt;
import com.digitalpebble.storm.crawler.bolt.parser.ParserBolt;
import com.digitalpebble.storm.crawler.fetcher.Fetcher;
import com.digitalpebble.storm.crawler.spout.RandomURLSpout;
/**
* 整体爬虫引擎的topology
*/
public class CrawlTopology {
public static void main(String[] args) throws Exception {
TopologyBuilder builder = new TopologyBuilder();
builder.setSpout("spout", new RandomURLSpout());
builder.setBolt("ip", new IPResolutionBolt()).shuffleGrouping("spout");
builder.setBolt("fetch", new Fetcher()).fieldsGrouping("ip",
new Fields("ip"));
builder.setBolt("parse", new ParserBolt()).shuffleGrouping("fetch");
builder.setBolt("index", new IndexerBolt()).shuffleGrouping("parse");
Config conf = new Config();
conf.setDebug(true);
conf.registerMetricsConsumer(DebugMetricConsumer.class);
if (args != null && args.length > 0) {
conf.setNumWorkers(3);
StormSubmitter.submitTopology(args[0], conf,
builder.createTopology());
} else {
conf.setMaxTaskParallelism(3);
LocalCluster cluster = new LocalCluster();
cluster.submitTopology("crawl", conf, builder.createTopology());
Thread.sleep(10000);
cluster.shutdown();
}
}
}
以上就是我们的真个计算的过程,在接下来的过程之中, 本ID将以 单个bolt为中心,串联各个Bolt为线,以bolt发散到面的流程来解释Storm-Crawler的逻辑,并附上最终源码。