【无标题】

最新推荐文章于 2024-08-16 23:08:28 发布

weixin_54223702

最新推荐文章于 2024-08-16 23:08:28 发布

阅读量19

点赞数

文章标签： java word 开发语言

本文链接：https://blog.csdn.net/weixin_54223702/article/details/131411056

版权

该代码示例展示了一个基于Storm的微博客数据处理流程，包括数据源获取、分词、过滤、统计、排序和输出等步骤。使用TopologyBuilder构建拓扑结构，定义了多个Bolt组件来执行特定任务，并设置了并行度和任务提交。

摘要由CSDN通过智能技术生成

public class MicroBlogTopology {

  public static void main(String[] args) throws Exception {
    TopologyBuilder builder = new TopologyBuilder();
    
    // 设置数据源组件
    builder.setSpout("WeiboSpout", new MicroBlogSpout(), 1);

    // 设置分词组件
    builder.setBolt("TokenizerBolt", new WordSplitBolt(), 4).shuffleGrouping("WeiboSpout");

    // 设置过滤组件
    builder.setBolt("FilterBolt", new FilterBolt(), 4).shuffleGrouping("TokenizerBolt");

    // 设置统计组件
    builder.setBolt("StatisticianBolt", new WordCountBolt(), 4).fieldsGrouping("FilterBolt", new Fields("word"));

    // 设置排序组件
    builder.setBolt("SequencerBolt", new TopNWordsBolt(10), 1).globalGrouping("StatisticianBolt");

    // 设置输出组件
    builder.setBolt("OutputBolt", new PrintBolt(), 1).globalGrouping("SequencerBolt");

    // 设置任务并行度
    Config config = new Config();
    config.setNumWorkers(4);
    config.setMaxSpoutPending(5000);
    
    // 提交Topology
    StormSubmitter.submitTopology("MicroBlogTopology",config, builder.createTopology());
    }
}