Exploiting sample correlation for crowd counting with multi-expert network

利用样本相关性的多专家网络人群计数

大的特征提取网络性能不令人满意

探索了如何有效的使用多专家模型进行人群计数任务

主要关注如何训练更有效的专家网络和如何选择最合适的专家

提出了一种基于样本增强的任务驱动的相似性度量称为协同微调相似性,可以找到一个更有效的数据子集来训练专家网络。相似样本被认为是一个用来获取专家参数的聚类。

设计了FPN反卷积计数网络,一个更适合于多专家计数网络的基本模型。

一些方法中的多专家结构包括基本特征提取器、路由网络、或加权网络以及多个专家网络。

每个专家都被设计为处理特定的规模和密度,从而减轻了仅由一个专家处理各种场景的复杂性。路由器本质上是一个分类器,为每个测试样本选择最佳专家。

为了获得有效的专家,大多数专家计数方法采用了差分训练技术(只是减少了对当前样本最准确预测的专家的损失)

在训练之后,每个训练样本被分配一个伪类别标签(最适合的专家的索引),以训练路由器。

每个专家都是通过在训练数据的子集上微调模型而产生的。关键问题是如何将训练集分成几个子集。

本文考虑如何评估两个样本之间的相似性。提出度量方法(协同微调相似性),可以反应最优专家参数之间的相关性(可以近似地描述在包含这两个样本的子集上进行微调之后模型的性能改进)。

为了获得由相似的样本组成的聚类,基于协同微调相似性设计了一种简单的聚类方法来在密集的人群数据集中发现潜在的聚类,然后每个聚类用于获得专家的参数。

为了减少参数的储存空间和避免对聚类的过度拟合,设计了一个简单而有效的人群计数模型(FDC),具有一个微小的密度映射回归器。

使用FDC作为基础模型,利用训练策略获得多专家FDC(MFDC)。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Bert是一种在自然语言处理中被广泛使用的模型,其在各种任务中表现出了出色的性能。然而,对于方面级情感分析,Bert并不直接适用。因此,需要对Bert进行利用,并通过修改和扩展来适应这一任务。 端到端(end-to-end)的方面级情感分析是指通过一个模型直接从文本中提取方面和情感信息。为了利用Bert进行端到端的方面级情感分析,首先需要对数据进行预处理,并将其转换成Bert模型所接受的输入格式。这包括将文本分段、添加特殊标记以及填充序列等操作。 在Bert模型的基础上,需要添加相关的层来实现方面级情感分析。一种常见的方法是利用注意力机制来捕获方面词与其他词之间的关系。通过计算不同词之间的注意力权重,可以将方面词的相关信息传递给其他词,从而更好地理解整个文本。另外,也可以添加一些分类层来预测每个方面的情感。 为了更好地利用Bert,还可以使用领域特定的语料库来进行预训练。通过在大规模的语料库上进行预训练,模型可以更好地理解特定领域的文本,并提升方面级情感分析的性能。 此外,还可以通过调整Bert模型的超参数来进一步改善性能。例如,可以调整学习率、批大小和训练周期等超参数,以获得更好的结果。 总之,“exploiting bert for end-to-end aspect-based sentiment analysis”意味着通过对Bert进行修改和扩展,将其应用于端到端的方面级情感分析任务中,以提升模型的性能和效果。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值