论文笔记:GraphSleepNet: Adaptive Spatial-Temporal Graph Convolutional Networks for Sleep Stage Classific

2020 ijcai

1 abstract & introduction

  • 这篇论文提出了GraphSleepNet,来进行睡眠阶段分类
    • 自适应地学习不同脑电波EEG频道之间的连接关系(邻接矩阵)
    • 使用STGCN+时空attention的方式进行睡眠阶段分类
  • 之前的睡眠阶段分类方法 
    • 不同睡眠阶段之间有不同的转换规则
      • ——>这些规则对睡眠阶段分类提供了很有用的信息
      • ——>但是如果让睡眠研究领域专家根据这些规则进行分类的话/使用SVM、随机森林这样的传统机器学习模型,会很繁琐、同时很费时间
    • 使用CNN+RNN可以比原来的的睡眠阶段分类效果要好
      • ——>但是脑区域不在非欧空间中,因而精度也有限
    • 使用GCN可以更好地衡量脑中各个点之间的连接关系
      • ——>但是受限于人类对脑部的认知,暂时没有一个脑部合适的图结构
    • ——>这篇论文自适应地学习图结构,同时利用STGCN+ST-attention来进行睡眠阶段分类
  • 代码链接:jingwang2020/GraphSleepNet: GraphSleepNet: Adaptive Spatial-Temporal Graph Convolutional Networks for Sleep Stage Classification (github.com)

 2  preliminary

  • 睡眠阶段分类任务所需的图:G=(V,E,A)
    • V——节点集(|V|=E)
    • E——边集
    • A——邻接矩
  •  原始信号序列S=(s_1,s_2,\cdots,s_L) \in R^{L\times N \times T_s}
    • L:sample数量(个人感觉上图每个30秒的N个时间序列就是一个sample)
    • N:每个sample中channel数量
    • Ts:每个sample中时间序列的长度
  • 对每个sample si,论文选择了不同频段的微分熵(differential entropy)作为si的特征
    • 所以每个sample的特征矩阵为:X_i \in (x_1^i,x_2^i,\cdots,x_N^i)^T \in R^{N\times F_{de}}
    • 其中x_n^i \in R^{F_{de}}表示点n在第i个sample中的F_{de}个特征
  • 睡眠阶段分类任务的定义如下:
    • 给定X=(X_{i-d},\cdots,X_i,\cdots,X_{i+d}) \in R^{N \times F_{de} \times (2d+1)},求出当前时刻i对应的睡眠阶段
    • 这里的d是一个参数,衡量了可以看到的时间信息的多少

3 GraphSleepNet

3.1 自适应邻接矩阵

  • 这定义了一个非负函数A_{mn} =g (x_m,x_n) (m,n \in \{1,2,\cdots,N\}),来衡量两个点x_m,x_n之间的连接关系
    • 其中x_m,x_nX_i \in (x_1^i,x_2^i,\cdots,x_N^i)^T \in R^{N\times F_{de}}中两个1\times F_{de}维的向量
      •  这里w=(w_1,\cdots,w_{F_{de}})^T \in R^{F_{de}\times 1}是需要学习的一组参数,通过最小化L_{graph \_ learning}求得

      •  (2)式的意思是

        • ① x_m,x_n距离越远,A_{mn}越小

        • ②脑连接结构并不是一个全连接/复杂结构,所以通过第二项正则项控制连边的数量

    • 为了避免学到w=(0,0,0,\cdots,0),这里是将L_{graph \_ learning}和分类误差联立,进行优化

 3.2 时空图卷积

3.2.1 空间图卷积

这里使用了ChebNet的思路,通过K-1阶切比雪夫多项式来作为谱图卷积的卷积核

GCN笔记:Graph Convolution Neural Network,ChebNet_UQI-LIUWJ的博客-CSDN博客

  •  第l层的输入\tilde X^{(l-1)} = (\tilde{X_1},\tilde{X_2},\cdots,\tilde{X}_{T_l-1})\in R^{N \times C_{l-1} \times T_{l-1}}
    • C_{l-1} ——>每个点的channel数量 (比如l=1时,C_0=F_{de}
    • T_{l-1}——>第l层的时间维度(比如l=1时,T_0=2d+1
  • 对每个\tilde X_i,论文使用Cl个filter,来获得谱图卷积后的计算结果
    • 其中\theta=(\theta_1,\theta_2,\cdots,\theta_{Cl})\in R^{K\times C_{l-1} \times C_l}
  • 空间图卷积的结果:\in R^{N \times C_{l} \times T_{l-1}}

3.2.2 时间卷积

使用二维CNN(Φ——卷积核参数)

 3.3 时空注意力

调整输入(左乘空间注意力矩阵、右乘时间注意力矩阵)

3.3.1 空间注意力

 

以下都是可训练参数:

  • V_p,b_p \in R^{N \times N}
  • Z_1 \in R^{T_{l-1}}
  •  Z_2 \in R^{C_{l-1} \times T_{l-1}} 
  • Z_3 \in R^{C_{t-1}}

 

 3.3.2 时间注意力

 以下都是可训练参数:

  • V_q,b_q \in R^{T_{l-1}\times T_{l-1}}
  • W_1 \in R^N
  • M_2 \in R^{C_{l-1} \times N}
  • M_3 \in R^{C_{l-1}}

4 实验

  • 1
    点赞
  • 5
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
### 回答1: ECA-Net是一种用于深度卷积神经网络的高效通道注意力机制,可以提高模型的性能和效率。它通过对每个通道的特征图进行加权,使得网络可以更好地学习到重要的特征。ECA-Net的设计简单,易于实现,并且可以与各种深度卷积神经网络结构相结合使用。 ### 回答2: ECA-Net是一种用于深度卷积神经网络的高效通道注意力机制。 ECA-Net通过提出一种名为"Efficient Channel Attention"(ECA)的注意力机制,来增强深度卷积神经网络的性能。通道注意力是一种用于自适应调整不同通道的特征响应权重的机制,有助于网络更好地理解和利用输入数据的特征表示。 相比于以往的注意力机制,ECA-Net采用了一种高效且可扩展的方式来计算通道注意力。它不需要生成任何中间的注意力映射,而是通过利用自适应全局平均池化运算直接计算出通道注意力权重。这种方法极大地降低了计算和存储开销,使得ECA-Net在实际应用中更具实用性。 在进行通道注意力计算时,ECA-Net引入了两个重要的参数:G和K。其中,G表示每个通道注意力的计算要考虑的特征图的大小;K是用于精细控制计算量和模型性能之间平衡的超参数。 ECA-Net在各种视觉任务中的实验结果表明,在相同的模型结构和计算资源下,它能够显著提升网络的性能。ECA-Net对不同层级的特征表示都有显著的改进,能够更好地捕捉不同特征之间的关联和重要性。 总之,ECA-Net提供了一种高效并且可扩展的通道注意力机制,可以有效提升深度卷积神经网络的性能。它在计算和存储开销上的优势使得它成为一个非常有价值的工具,可在各种计算资源受限的应用中广泛应用。 ### 回答3: "eca-net: efficient channel attention for deep convolutional neural networks" 是一种用于深度卷积神经网络的高效通道注意力模块。这一模块旨在提高网络对不同通道(特征)之间的关联性的理解能力,以提升网络性能。 该方法通过引入了一个新的注意力机制来实现高效的通道注意力。传统的通道注意力机制通常是基于全局池化操作来计算通道之间的关联性,这种方法需要较高的计算成本。而ECA-Net则通过引入一个参数化的卷积核来计算通道之间的关联性,可以显著减少计算量。 具体来说,ECA-Net使用了一维自适应卷积(adaptive convolution)来计算通道注意力。自适应卷积核根据通道特征的统计信息来调整自身的权重,从而自适应地计算每个通道的注意力权重。这样就可以根据每个通道的信息贡献度来调整其权重,提高网络的泛化能力和性能。 ECA-Net在各种图像分类任务中进行了实验证明了其有效性。实验结果显示,ECA-Net在相同计算预算下,相比其他通道注意力方法,可以获得更高的分类精度。同时,ECA-Net还具有较少的额外计算成本和模型大小,使得其在实际应用中更加高效。 总结而言,"eca-net: efficient channel attention for deep convolutional neural networks" 提出了一种高效通道注意力方法,通过引入自适应卷积核来计算通道注意力,从而提高了深度卷积神经网络的性能。这一方法在实验中取得了良好的效果,并且具有较少的计算成本和模型大小。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UQI-LIUWJ

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值