Storm 分布式BP神经网络（开源）

最新推荐文章于 2022-09-04 20:03:00 发布

M醉清风Y

最新推荐文章于 2022-09-04 20:03:00 发布

阅读量853

点赞数

分类专栏：人工智能图形学及其算法文章标签： storm 分布式 clojure 人工智能精神网络

图形学及其算法同时被 2 个专栏收录

12 篇文章 0 订阅

订阅专栏

人工智能

10 篇文章 0 订阅

订阅专栏

本文探讨了Storm实时计算系统的应用，通过CCU实时计算案例展示了其优势，并介绍了神经网络在智能系统SkyNet中的作用，特别关注了数据分类问题的重要性。文章详细解析了神经网络在天网系统中的应用，包括决策树、智能分类及其关键组件神经网络的整合。

摘要由CSDN通过智能技术生成

一、Storm

“Storm是一个分布式的、容错的实时计算系统，基本是用Clojure写的。Storm也可被用于“连续计算”（continuous computation），对数据流做连续查询，在计算时就将结果以流的形式输出给用户。它还可被用于“分布式RPC”，以并行的方式运行昂贵的运算。”（引用自百度百科）

Storm（左图） / MapReduce（右图）

特别要注意这两个关键字：分布式和连续计算。

Storm和MapReduce一样，有很好的水平扩展能力，伸缩性很强。它可以像Hadoop那样被部署在多台机器上，实现集群架构。

虽然Storm和MapReduce有很多相似之处，但是他们任然有很大的区别：

1、Job的生命周期：MapReduce是一个批量计算框架，Storm更像一组水管，它可以不停的计算。Storm Job（Topology）的生命周期是永久的，只要我们不关闭它，Job将一直运行下去。而MR的Job一旦结束后，整个计算也就结束了。如果想要在跑一个相对同的job，就需要重新启动它。

2、数据传递方式：MR中Map与Reduce之间传递的数据必须落地（写入磁盘），而Storm则不需要（通过ZeroMQ/Netty实现消息传递）。

3、计算单元层数：MR实际上就是一层Map和一层Reduce单元组成，而Storm则有一层Spout单元和N层Bolt单元组成。在Storm中Bolt的层数是可以被自定义的。而在MR中就很难做到这样一点，往往我们都是利用多个MR Job的叠加，去实现一些复杂的运算。

4、计算延时：Storm通过DRPC可以实现很多实时的数据查询业务，而MR做不到（也没必要去实现这个功能）。

为了弥补MR的缺陷，我们才引入了Storm解决方案。接下来通过一个场景（CCU的实时计算）来解释一下Storm的作用。

CCU 是 Concurrent user 的缩写，意思是“同时在线人数”，表示某个时间，同时有多少玩家在进行游戏。同时在线玩家越多，表示游戏越受欢迎。因为付费玩家数量通常和同时在线人数呈现一定比例，因此知道CCU就可以大致推算出一个游戏的营收水平，所以CCU是衡量游戏运营好坏的重要指标之一。依照使用环境不同，有时可以特指“平均在线人数”或“最高在线人数”。（最高在线人数也称为PCU或PCCU）。CCU和PV/UV指标很相似。

一天，CTO跟我说：管理层想看新上线游戏的实时CCU。当时，这个需要很让我头疼，因为我们游戏的CCU是通过玩家登入/登出游戏的日志数据算出来的。我们后台有一个MapReduce Job，每10分钟跑一次算出当前CCU再写入HBase/MySQL中，业务人员每10分钟可以查到一个新数据。

其实CCU的算法很简单，问题并不是算法，而是计算框架。我们的离线计算全部用MR实现的，但这10分钟一次的Job根本无法满足需求，咋办？还好Storm救了我，我们只要实现一个"通过Log File"流读取的方法（Spout），并把数据输送给计算CCU的Bolt。这样Bolt就可以把源源不断的新数据进行CCU计算，并把结果emit出来。我贴一段CCU的Bolt代码，大家一看便明白了。

[java]view plain copy 
    
 
 public static class CCU extends BaseBasicBolt {  
         int CCUcount = 0; //CCU数量  
         @Override  
         public void execute(Tuple tuple, BasicOutputCollector collector) {  
             int Type = tuple.getInteger(1) //类型 0登入 1登出  
             if(Type==0){  
                 ++CCUcount;  
             }else{  
                 --CCUcount;  
             }  
             collector.emit(new Values(CCUcount));                 
         }  
         @Override  
         public void declareOutputFields(OutputFieldsDeclarer declarer) {  
             declarer.declare(new Fields("CCUcount"));  
         }         
 }  

简单吧，就这么一小段代码，只要你熟悉Storm，并且懂一点点Java，2分钟搞定

。就这么简单？如果你是一个Storm初学者，可能会觉得撸大湿在忽悠你。是的，我是在忽悠初学者！Storm没那么简单，所谓的"简单"只针对那些熟悉Storm的技术人员。初学想要完成这段代码前，一定会经历很多波折，就像我当初学习Hadoop那样。所以我建议新手好好去学习一下Storm的相关基础，少走弯路。