局部聚合与全局聚合

最新推荐文章于 2023-11-09 09:43:47 发布
最新推荐文章于 2023-11-09 09:43:47 发布
阅读量382 收藏 1
点赞数
文章标签： 大数据 人工智能 移动开发
原文链接：http://www.cnblogs.com/juncaoit/p/9164176.html
版权

1.说明

　　在局部聚合的类中必须有一个内部类，用处存储状态值，中间的结果

　　GroupBy+局部聚合，不需要过多的跨网络传输

　　GroupBy+全局聚合，需要大量的网络传输

 

一：局部聚合

1.需求

　　另一个流,基于分钟的订单金额总数，局部聚合

 

2.驱动类

 1 package com.jun.trident;
 2 
 3 import backtype.storm.Config;
 4 import backtype.storm.LocalCluster;
 5 import backtype.storm.StormSubmitter;
 6 import backtype.storm.generated.AlreadyAliveException;
 7 import backtype.storm.generated.InvalidTopologyException;
 8 import backtype.storm.tuple.Fields;
 9 import backtype.storm.tuple.Values;
10 import storm.trident.Stream;
11 import storm.trident.TridentState;
12 import storm.trident.TridentTopology;
13 import storm.trident.operation.Function;
14 import storm.trident.operation.TridentCollector;
15 import storm.trident.operation.TridentOperationContext;
16 import storm.trident.operation.builtin.Count;
17 import storm.trident.operation.builtin.Sum;
18 import storm.trident.testing.FixedBatchSpout;
19 import storm.trident.testing.MemoryMapState;
20 import storm.trident.tuple.TridentTuple;
21 
22 import java.util.Map;
23 
24 public class TridentDemo {
25     public static void main(String[] args) throws AlreadyAliveException, InvalidTopologyException {
26         TridentTopology tridentTopology=new TridentTopology();
27         //模拟数据
28         Fields field=new Fields("log","flag");
29         FixedBatchSpout spout=new FixedBatchSpout(field,5,
30             new Values("168.214.187.214 - - [1481953616092] \"GET /view.php HTTP/1.1\" 200 0 \"http://cn.bing.com/search?q=spark mllib\" \"Mozilla/5.0 (Windows NT 6.1; rv:2.0.1) Gecko/20100101 Firefox/4.0.1\" \"-\"","A"),
31             new Values("168.187.202.202 - - [1481953537038] \"GET /IBEIfeng.gif?order_id=1063&orderTime=1481953537038&memberId=4000012340500607&productInfos=10005-2099.48-B-1|10004-1886.62-A-2|10001-961.99-A-1&orderAmt=6834.70 HTTP/1.1\" 200 0 \"-\" \"Mozilla/5.0 (compatible; MSIE 10.0; Windows NT 6.2;Tident/6.0)\" \"-\"","A"),
32             new Values("61.30.167.187 - - [1481953539039] \"GET /IBEIfeng.gif?order_id=1064&orderTime=1481953539039&memberId=4000930409959999&productInfos=10007-3329.13-B-1|10009-2607.71-B-1|10002-390.62-A-1|10006-411.00-B-2&orderAmt=7149.46 HTTP/1.1\" 200 0 \"-\" \"Mozilla/5.0 (Linux; Android 4.2.1; Galaxy Nexus Build/JOP40D) AppleWebKit/535.19 (KHTML, like Gecko) Chrome/18.0.1025.166 Mobile Safari/535.19\" \"-\"","A"),
33             new Values("30.29.132.190 - - [1481953544042] \"GET /IBEIfeng.gif?order_id=1065&orderTime=1481953544043&memberId=1234568970080798&productInfos=10005-2099.48-B-1|10001-3242.40-C-2|10006-411.00-B-1&orderAmt=8995.28 HTTP/1.1\" 200 0 \"-\" \"Mozilla/5.0 (iPhone; CPU iPhone OS 7_)_3 like Mac OS X) AppleWebKit/537.51.1 (KHTML, like Gecko) Version/7.0 Mobile/11B511 Safari/9537.53\" \"-\"","B"),
34             new Values("222.190.187.201 - - [1481953578068] \"GET /IBEIfeng.gif?order_id=1066&orderTime=1481953578068&memberId=3488586887970809&productInfos=10005-2099.48-B-1|10001-2774.16-C-2&orderAmt=7647.80 HTTP/1.1\" 200 0 \"-\" \"Mozilla/5.0 (Windows NT 6.1; rv:2.0.1) Gecko/20100101 Firefox/4.0.1\" \"-\"","B"),
35             new Values("72.202.43.53 - - [1481953579069] \"GET /IBEIfeng.gif?order_id=1067&orderTime=1481953579069&memberId=2084859896989877&productInfos=10007-3329.13-B-1|10001-961.99-A-2&orderAmt=5253.10 HTTP/1.1\" 200 0 \"-\" \"Mozilla/5.0 (Linux; Android 4.2.1; Galaxy Nexus Build/JOP40D) AppleWebKit/535.19 (KHTML, like Gecko) Chrome/18.0.1025.166 Mobile Safari/535.19\" \"-\"","B")
36         );
37         //多次循环
38         spout.setCycle(true);
39         //流处理
40         Stream stream=tridentTopology.newStream("orderAnalyse",spout)
41                 //过滤
42             .each(new Fields("log"),new ValidLogFilter())
43                 //解析
44             .each(new Fields("log"), new LogParserFunction(),new Fields("orderId","orderTime","orderAmtStr","memberId"))
45                 //投影
46             .project(new Fields("orderId","orderTime","orderAmtStr","memberId"))
47                 //时间解析
48             .each(new Fields("orderTime"),new DateTransFormerFunction(),new Fields("day","hour","minter"))
49          ;
50         //分流
51         //1.基于minter统计订单数量，分组统计
52         TridentState state=stream.groupBy(new Fields("minter"))
53                 //全局聚合，使用内存存储状态信息
54                 .persistentAggregate(new MemoryMapState.Factory(),new Count(),new Fields("orderNumByMinter"));
55 //        state.newValuesStream().each(new Fields("minter","orderNumByMinter"),new PrintFilter());
56 
57         //2.另一个流,基于分钟的订单金额，局部聚合
58         Stream partitionStream=stream.each(new Fields("orderAmtStr"),new TransforAmtToDoubleFunction(),new Fields("orderAmt"))
59             .groupBy(new Fields("minter"))
60                     //局部聚合
61                 .chainedAgg()    //聚合链
62             .partitionAggregate(new Fields("orderAmt"),new LocalSum(),new Fields("orderAmtSumOfLocal"))
63                 .chainEnd();      //聚合链
64         partitionStream.each(new Fields("minter","orderAmtSumOfLocal"),new PrintFilter());
65         
66         //提交
67         Config config=new Config();
68         if(args==null || args.length<=0){
69             LocalCluster localCluster=new LocalCluster();
70             localCluster.submitTopology("tridentDemo",config,tridentTopology.build());
71         }else {
72             config.setNumWorkers(2);
73             StormSubmitter.submitTopology(args[0],config,tridentTopology.build());
74         }
75     }
76 }

 

3.金额从字符串转为double类型的方法类

 1 package com.jun.trident;
 2 
 3 import backtype.storm.tuple.Values;
 4 import org.slf4j.Logger;
 5 import org.slf4j.LoggerFactory;
 6 import storm.trident.operation.Function;
 7 import storm.trident.operation.TridentCollector;
 8 import storm.trident.operation.TridentOperationContext;
 9 import storm.trident.tuple.TridentTuple;
10 
11 import java.util.Map;
12 
13 public class TransforAmtToDoubleFunction implements Function {
14     private static final Logger logger= LoggerFactory.getLogger(TransforAmtToDoubleFunction.class);
15     @Override
16     public void execute(TridentTuple tridentTuple, TridentCollector tridentCollector) {
17         String orderAmtStr=tridentTuple.getStringByField("orderAmtStr");
18         try{
19             Double orderAmt=Double.parseDouble(orderAmtStr);
20             tridentCollector.emit(new Values(orderAmt));
21         }catch (Exception e){
22             logger.error("金额转换错误："+orderAmtStr);
23         }
24 
25     }
26 
27     @Override
28     public void prepare(Map map, TridentOperationContext tridentOperationContext) {
29 
30     }
31 
32     @Override
33     public void cleanup() {
34 
35     }
36 }

 

4.局部聚合的类

 1 package com.jun.trident;
 2 
 3 import backtype.storm.tuple.Values;
 4 import storm.trident.operation.Aggregator;
 5 import storm.trident.operation.TridentCollector;
 6 import storm.trident.operation.TridentOperationContext;
 7 import storm.trident.tuple.TridentTuple;
 8 
 9 import java.util.Map;
10 
11 
12 public class LocalSum implements Aggregator<LocalSum.InnerState> {
13     //内部状态类,用于暂存累计的结果状态
14     public static class InnerState{
15         public double amtSum=0.0;
16     }
17     @Override
18     public InnerState init(Object o, TridentCollector tridentCollector) {
19         InnerState innerState=new InnerState();
20         innerState.amtSum=0.0;
21         return innerState;
22     }
23 
24     //執行循环累计
25     @Override
26     public void aggregate(InnerState preState, TridentTuple tridentTuple, TridentCollector tridentCollector) {
27         Double orderAmt=tridentTuple.getDoubleByField("orderAmt");
28         //累计
29         double preSum=preState.amtSum;
30         double newAmt=preSum+orderAmt;
31         //更新
32        preState.amtSum=newAmt;
33     }
34 
35     @Override
36     public void complete(InnerState innerState, TridentCollector tridentCollector) {
37         //最终结果
38        tridentCollector.emit(new Values(innerState.amtSum));
39     }
40 
41     @Override
42     public void prepare(Map map, TridentOperationContext tridentOperationContext) {
43 
44     }
45 
46     @Override
47     public void cleanup() {
48 
49     }
50 
51 
52 
53 }

 

5.效果

　　

 

二：全局聚合

1.说明

　　在上一个文档中的程序中已经开始使用全局聚合了，但是这里在和局部聚合放在一起重新说明一次

 

2.驱动类

 1 package com.jun.trident;
 2 
 3 import backtype.storm.Config;
 4 import backtype.storm.LocalCluster;
 5 import backtype.storm.StormSubmitter;
 6 import backtype.storm.generated.AlreadyAliveException;
 7 import backtype.storm.generated.InvalidTopologyException;
 8 import backtype.storm.tuple.Fields;
 9 import backtype.storm.tuple.Values;
10 import storm.trident.Stream;
11 import storm.trident.TridentState;
12 import storm.trident.TridentTopology;
13 import storm.trident.operation.Function;
14 import storm.trident.operation.TridentCollector;
15 import storm.trident.operation.TridentOperationContext;
16 import storm.trident.operation.builtin.Count;
17 import storm.trident.operation.builtin.Sum;
18 import storm.trident.testing.FixedBatchSpout;
19 import storm.trident.testing.MemoryMapState;
20 import storm.trident.tuple.TridentTuple;
21 
22 import java.util.Map;
23 
24 public class TridentDemo {
25     public static void main(String[] args) throws AlreadyAliveException, InvalidTopologyException {
26         TridentTopology tridentTopology=new TridentTopology();
27         //模拟数据
28         Fields field=new Fields("log","flag");
29         FixedBatchSpout spout=new FixedBatchSpout(field,5,
30             new Values("168.214.187.214 - - [1481953616092] \"GET /view.php HTTP/1.1\" 200 0 \"http://cn.bing.com/search?q=spark mllib\" \"Mozilla/5.0 (Windows NT 6.1; rv:2.0.1) Gecko/20100101 Firefox/4.0.1\" \"-\"","A"),
31             new Values("168.187.202.202 - - [1481953537038] \"GET /IBEIfeng.gif?order_id=1063&orderTime=1481953537038&memberId=4000012340500607&productInfos=10005-2099.48-B-1|10004-1886.62-A-2|10001-961.99-A-1&orderAmt=6834.70 HTTP/1.1\" 200 0 \"-\" \"Mozilla/5.0 (compatible; MSIE 10.0; Windows NT 6.2;Tident/6.0)\" \"-\"","A"),
32             new Values("61.30.167.187 - - [1481953539039] \"GET /IBEIfeng.gif?order_id=1064&orderTime=1481953539039&memberId=4000930409959999&productInfos=10007-3329.13-B-1|10009-2607.71-B-1|10002-390.62-A-1|10006-411.00-B-2&orderAmt=7149.46 HTTP/1.1\" 200 0 \"-\" \"Mozilla/5.0 (Linux; Android 4.2.1; Galaxy Nexus Build/JOP40D) AppleWebKit/535.19 (KHTML, like Gecko) Chrome/18.0.1025.166 Mobile Safari/535.19\" \"-\"","A"),
33             new Values("30.29.132.190 - - [1481953544042] \"GET /IBEIfeng.gif?order_id=1065&orderTime=1481953544043&memberId=1234568970080798&productInfos=10005-2099.48-B-1|10001-3242.40-C-2|10006-411.00-B-1&orderAmt=8995.28 HTTP/1.1\" 200 0 \"-\" \"Mozilla/5.0 (iPhone; CPU iPhone OS 7_)_3 like Mac OS X) AppleWebKit/537.51.1 (KHTML, like Gecko) Version/7.0 Mobile/11B511 Safari/9537.53\" \"-\"","B"),
34             new Values("222.190.187.201 - - [1481953578068] \"GET /IBEIfeng.gif?order_id=1066&orderTime=1481953578068&memberId=3488586887970809&productInfos=10005-2099.48-B-1|10001-2774.16-C-2&orderAmt=7647.80 HTTP/1.1\" 200 0 \"-\" \"Mozilla/5.0 (Windows NT 6.1; rv:2.0.1) Gecko/20100101 Firefox/4.0.1\" \"-\"","B"),
35             new Values("72.202.43.53 - - [1481953579069] \"GET /IBEIfeng.gif?order_id=1067&orderTime=1481953579069&memberId=2084859896989877&productInfos=10007-3329.13-B-1|10001-961.99-A-2&orderAmt=5253.10 HTTP/1.1\" 200 0 \"-\" \"Mozilla/5.0 (Linux; Android 4.2.1; Galaxy Nexus Build/JOP40D) AppleWebKit/535.19 (KHTML, like Gecko) Chrome/18.0.1025.166 Mobile Safari/535.19\" \"-\"","B")
36         );
37         //多次循环
38         spout.setCycle(true);
39         //流处理
40         Stream stream=tridentTopology.newStream("orderAnalyse",spout)
41                 //过滤
42             .each(new Fields("log"),new ValidLogFilter())
43                 //解析
44             .each(new Fields("log"), new LogParserFunction(),new Fields("orderId","orderTime","orderAmtStr","memberId"))
45                 //投影
46             .project(new Fields("orderId","orderTime","orderAmtStr","memberId"))
47                 //时间解析
48             .each(new Fields("orderTime"),new DateTransFormerFunction(),new Fields("day","hour","minter"))
49          ;
50         //分流
51         //1.基于minter统计订单数量，分组统计
52         TridentState state=stream.groupBy(new Fields("minter"))
53                 //全局聚合，使用内存存储状态信息
54                 .persistentAggregate(new MemoryMapState.Factory(),new Count(),new Fields("orderNumByMinter"));
55 //        state.newValuesStream().each(new Fields("minter","orderNumByMinter"),new PrintFilter());
56 
57         //2.另一个流,基于分钟的订单金额，局部聚合
58         Stream partitionStream=stream.each(new Fields("orderAmtStr"),new TransforAmtToDoubleFunction(),new Fields("orderAmt"))
59             .groupBy(new Fields("minter"))
60                     //局部聚合
61                 .chainedAgg()    //聚合链
62             .partitionAggregate(new Fields("orderAmt"),new LocalSum(),new Fields("orderAmtSumOfLocal"))
63                 .chainEnd();      //聚合链
64 //        partitionStream.each(new Fields("minter","orderAmtSumOfLocal"),new PrintFilter());
65         //做一次全局聚合
66         TridentState partitionState=partitionStream.groupBy(new Fields("minter"))
67                 //全局聚合
68                 .persistentAggregate(new MemoryMapState.Factory(),new Fields("orderAmtSumOfLocal"),new Sum(),new Fields("totalOrderAmt"));
69         partitionState.newValuesStream().each(new Fields("minter","totalOrderAmt"),new PrintFilter());
70 
71         //提交
72         Config config=new Config();
73         if(args==null || args.length<=0){
74             LocalCluster localCluster=new LocalCluster();
75             localCluster.submitTopology("tridentDemo",config,tridentTopology.build());
76         }else {
77             config.setNumWorkers(2);
78             StormSubmitter.submitTopology(args[0],config,tridentTopology.build());
79         }
80     }
81 }

 

3.效果

　　

 

转载于:https://www.cnblogs.com/juncaoit/p/9164176.html

weixin_30918633
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
两阶段聚合（局部聚合+全局聚合）
weixin_43705952的博客
11-19 685
// 第一步，给RDD中的每个key都打上一个随机前缀。 JavaPairRDD<String, Long> randomPrefixRdd = rdd.mapToPair( new PairFunction<Tuple2<Long,Long>, String, Long>() { private static final long serialVersionUID = 1L; @Override
Spark 使用局部聚合+全局聚合解决数据倾斜问题
Dream_aju的博客
10-27 281
Spark中的数据倾斜问题主要指shuffle过程中出现的数据倾斜问题，是由于不同的key对应的数据量不同导致的不同task所处理的数据量不同的问题。 例如，reduced端一共要处理100万条数据，第一个和第二个task分别被分配到了1万条数据，计算5分钟内完成，第三个task分配到了98万数据，此时第三个task可能需要10个小时完成，这使得整个Spark作业需要10个小时才能运行完成，这就是数据倾斜所带来的后果。 import org.apache.spark.rdd.RDD import .
spark 数据倾斜之两阶段聚合（局部聚合+全局聚合）
鸭梨的博客
01-30 1381
两阶段聚合（局部聚合+全局聚合） 方案适用场景： 对RDD执行reduceByKey等聚合类shuffle算子或者在Spark SQL中使用group by语句进行分组聚合时，比较适用这种方案。 方案实现思路： 这个方案的核心实现思路就是进行两阶段聚合。第一次是局部聚合，先给每个key都打上一个随机数，比如10以内的随机数，此时原先一样的key就变成不一样的了，比如(hello, (hello, 1) (hello, 1) (hello, 1)，就会变成(1_hello, 1) (1_hello,
shuffle发生数据倾斜的解决方案之一（局部聚合+全局聚合）
自律
12-21 632
sparksql对于进行group by操作过程中产生的数据倾斜的处理。 使用sql来解决sparksql编程过程中出现的数据倾斜问题 以group by之后的dataskew为例来说明 dataskew： 什么是数据倾斜，表现有如何？ 1. 数据分布不均匀，体现在，某一/几字段的数据特别多，只有在进行聚合计算的时候，数据才会进行重新分布。 2. 这个过程就是shuffle操作，shuffle操作的本质是相同key的数据汇聚到同一个计算节点上面进行聚合计算，这样 才会出现前面说的特点，某一个分区的数据可能
基于局部视觉特征聚合的图像检索
01-18
本文将深入探讨基于局部视觉特征聚合的图像检索方法，尤其是使用VLAD（Vector of Locally Aggregated Descriptors）技术来降低图像特征向量的维度。 首先，我们要理解什么是局部视觉特征。在图像分析中，局部视觉...
基于局部聚合的复杂网络自动聚簇算法 (2014年)
05-26
针对全局聚簇计算消耗偏高的缺陷，提出了基于局部聚合的自动迭代聚簇算法(LAICA)。LAICA首先通过局部聚簇发现网络中连接紧密的节点集，即：局部簇，然后迭代合并局部簇从而实现对网络的全局聚簇。实验结果表明，...
mega.pytorch:用于视频对象检测的内存增强全局局部聚合，CVPR2020
04-08
用于视频对象检测的MEGA ，，，。 这种回购是一个正式实施的 ，由2020年CVPR接受这个软件库包含基于我们的做法MEGA的PyTorch实施 ，以及一些培训脚本重现的结果上ImageNet VID在我们的论文中有所报道。...
聚合局部时空模式的微表达识别
04-12
观察到，由面部空间分布定位的所提出的局部统计描述符能够捕捉比全局特征更详细且更具代表性的信息。而且，不同局部特征的融合可以激发微表情的更多特征，从而导致更好的实验结果。 本研究中的关键词包括微表情、...
深度学习融合局部聚合向量的增强现实标志物检索研究.docx
02-23
深度学习融合局部聚合向量的增强现实标志物检索研究 深度学习技术在图像检索领域的应用日益广泛，特别是在增强现实（Augmented Reality，AR）领域，对人工标志物的检索与跟踪技术变得尤为关键。本研究提出了一个...
超越Swin！MoA-Transformer：将全局特征聚合到视觉Transformer
阿木寺的博客
02-08 2864
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达Aggregating Global Features into Local Vision Transformer论文：...
Spark性能调优系列：（五）数据倾斜（两阶段聚合(局部聚合+全局聚合)）
Mr.Cao
11-21 838
两阶段聚合(局部聚合+全局聚合) 适用场景 对RDD执行reduceByKey等聚合类shuffle算子或者在SparkSQL中使用Groupby语句进行分组聚合时，比较适用这种方案。 实现思路 核心实现思路就是进行两阶段聚合。第一次是局部聚合，先给每个key都打上一个随机数，比如10以内的随机数，此时原先一样的key就变成不一样的了， 比如：(hello,1)(hello,1)(h...
【北大&微软】用于视频目标检测的记忆增强的全局-局部聚合
深度学习技术前沿
04-01 275
关注上方“深度学习技术前沿”，选择“星标公众号”，资源干货，第一时间送达！北大&MSRA，入选 CVPR 2020，ImageNet VIDSOTA摘要：人类如何识别一段视频中...
两阶段聚合（局部聚合+全局聚合）解决groupby产生数据倾斜的简单案例
07-20 3596
1概述 有的时候，我们可能会遇到大数据计算中一个最棘手的问题——数据倾斜，此时Spark作业的性能会比期望差很多。数据倾斜调优，就是使用各种技术方案解决不同类型的数据倾斜问题，以保证Spark作业的性能。该篇博客参考美团的spark高级版，只是修改了代码使用了scala写的。 2产生原因 方案适用场景：对RDD执行reduceByKey等聚合类shuffle算子或者在Spark SQL中使用...
【Spark调优】聚合操作数据倾斜解决方案
weixin_30786617的博客
03-22 105
【使用场景】 　　对RDD执行reduceByKey等聚合类shuffle算子或者在Spark SQL中使用group by语句进行分组聚合时，经过sample或日志、界面定位，发生了数据倾斜。 【解决方案】 　　局部聚合+全局聚合，进行两阶段聚合。具体为： 　　将原本相同的key通过附加随机前缀的方式，变成多个不同的key，就可以让原本被一个task处理的数据分散到多个task上去做局部聚合...
es笔记七之聚合操作之桶聚合和矩阵聚合
weixin_43354181的博客
12-29 1903
桶(bucket)聚合并不像指标(metric)聚合一样在字段上计算，而是会创建数据的桶，我们可以理解为分组，根据某个字段进行分组，将符合条件的数据分到同一个组里。桶聚合可以有子聚合，意思就是在分组之后，可以在每个组里再次进行聚合操作，聚合的数据就是每个组的数据。
LCCNet 翻译
weixin_45626706的博客
12-01 2108
LCCNet: LiDAR and Camera Self-Calibration using Cost Volume Network 基于成本容量网络的激光雷达和相机外参自标定网络 LCCNet: LiDAR and Camera Self-Calibration Using Cost Volume Network (thecvf.com) abstract Multi-sensor fusion is for enhancing environment perception and 3D recons
C++ 聚合类(Aggregate Class)
jinzhu1911的专栏
11-25 4847
C++ 聚合类（Aggregate Class） 文章目录C++ 聚合类（Aggregate Class）概述聚合类定义聚合类的特性value-initialized聚合类的初始化方法union（聚合）总结 概述 该篇文章是用于梳理在学习聚合类的相关文章过程中总结归纳的相关知识点。用于后续深入理解和使用聚合类进行准备。 聚合类定义 首先看一下C++标准中的定义： An aggregate is an array or a class (clause 9) with no user-declared cons
转载：TransXNet：聚合全局和局部信息的全新CNN-Transformer视觉主干，表现强大！
最新发布
wuling129的专栏
11-09 1892
在微小版本中，注意组的数量固定为2个，以保证合理的计算成本，而在更深的小模型和基础模型中，使用越来越多的注意组来提高IDConv的灵活性，这类似于MHSA模块的头部数量随着模型的深入而增加。然而，本文方法在全局和局部动态以及多尺度token聚合的支持下，不仅在小目标上取得了优异的效果，而且在中大型目标上也明显优于先前的方法。由上式可知，STE的FLOPs为HWC(2C/r + 9)，在实际操作中，将信道缩减比r设为8，但要保证压缩的信道数不小于16，这样得到的FLOPs明显小于1×1卷积的FLOPs，即。
局部特征聚合为全局特征
05-19
局部特征聚合为全局特征是一种常见的图像处理技术，它可以将一组局部特征（如图像的像素值、边缘、纹理等）聚合成一个全局特征，以描述整个图像的特征。这个过程通常包括以下几个步骤： 1. 提取局部特征：根据具体...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值