weixin_55940866的博客

在序列建模和转换任务上，当时（2017）公认效果最好的就是RNN、lstm、GRU等。RNN通常是对输入输出序列的符号位置进行因子计算，这类模型不管怎么变，时序计算的基本约束都是存在的，体现在两点上：一是很难进行并行计算，因为是时间关联的，算了上一个时间点才能算下一个时间点；第二是很难解决Long-Term长程问题，因为如果要把所有的隐层的信息都存到内存，内存开销会比较大。attention在RNN上已经有很多应用，也已经成功地证明了它的效果。

使用的情绪脉搏信号数据集是在虚拟现实情绪场景刺激下采集的脉搏数据，包括平静情绪的、悲伤情绪的、快乐情绪的、恐惧情绪的和紧张情绪的 5 种原始脉搏信号，标签为志愿者填写的 DASS-21 心理压力自评量表分数和焦虑量表分数。

为了说明我们其实不明确知道该共享哪些参数，作者进行了一个实验，实验为2组多任务学习实验，通过共享不同层的模型参数，得到了两组任务在不同的参数共享策略下的性能对比，实验结果说明了不同任务的最佳分割比（共享层和特定任务的表示比例）是不一样的，这取决于手头的任务类型。枚举每一种可能的网络拆分是一种可能的实现，但是这种做法十分笨拙，费时，因此Cross-Stitch建立了一个新的单元，能够自动决定当前任务的最佳共享层，也就是可以使网络自动学习到需要共享的特征。通过将αAB和αBA附上更高的值来提高共享的程度。

首先把这篇文章的代码copy下来。也可以直接看resnet源码（复杂一点）。再看SE注意力模块代码把SE模块复制到resnet的model文件中，塞到某个子模块下面就行。注意，basicblock和bottleneck都是resnet网络的子模块，ResNet才是主网络。看看SE模块的输入和输出形状，这里我设置的输入通道是2，模块的输出也是2。

他将流量的每个字节转换成像素，由此来把流量转换为图片，再将图片作为CNN的输入进行训练与分类,得到的二分类和多分类准确率分别是100%和99.17%。将数据缩放到一个固定的范围（0到1），使得不同特征的数据在同一尺度上，便于比较和计算。GAF（Gramian Angular Field）将时间序列映射为图像，侧重于周期性和幅度信息的表达，增加了数据的维度和丰富度。因为一维信号可能存在数据维度和丰富度的不足，限制了模型从数据中中提取出复杂特征和特征局部相关性的能力。需要用数据的时候再加载数据。

如何把从别人那拷贝来的python环境加载到本地pycharm把拷来的环境放在一个地方（随便放，自己找得到就行）点击解释器设置选择添加本地解释器选择Virtualenv环境-现有环境，然后点击右边三个…，找到拷贝来的环境中的python.exe,点确定就行了。

PyCharm-从其他地方拷贝环境到自己电脑上之后，jupyter运行错误，Unhandled error，内核启动失败

fc1 = 512 # 第一个全连接层（Fully Connected Layer）的神经元数量fc2 = 256 # 第二个全连接层的神经元数量，有256个神经元fc3 = 64 # 第三个全连接层的神经元数量，有64个神经元# 学习率（Learning Rate），用于控制模型参数更新的步长。较小的学习率意味着参数更新较慢，较大的学习率可能导致模型训练不稳定。# dropout率，用于防止过拟合。

小波分解是一种信号处理技术，用于将信号分解成不同频率成分。小波分解的基本原理是将信号分解成近似部分和细节部分。在每一层分解中，信号首先通过一个低通滤波器（用于提取近似部分）和一个高通滤波器（用于提取细节部分）。通过这种方式，信号被逐步分解成不同频率成分。ca5是第5层近似系数（Approximation Coefficients），表示信号在5层分解后的低频部分。cd5到cd1是第5层到第1层的细节系数（Detail Coefficients），表示信号在5层分解后的高频部分。

如果把向量具象化成一个观察者，观察者只能感知到它自己那个方向维度的东西，如a只能感受到b在a方向上的值bcosθ。观察者理论就是对于给定的目标，让归一化后的观察者一人看一眼，然后观察者记录下来自己看到的数据，这就是我们要的数据。因此，点乘是观察者们了解未知事物的手段。把向量分解从观察者的角度看，虽然每个观察者看到的只是一个片面，但是当我们把所有观察者的结果都综合起来的时候，就可以得到真相。在[-π，π]区间，sinxcos2x积分为0（面积为0），可以说在这个区间上，sinx与cos2x完全不相似。

linspace函数可以生成一个等间距的数值序列，该序列用于数据图的x轴。具体来说，它生成了一个从0到100的等间距数值序列，共包含5个元素。

（HRV，Heart Rate Variability）是指连续正常（窦性）心动周期之间时间上的微小差异。心率变异度是生理学上的一个测量指标，简单地说就是心跳速率的变化程度。注意，这个指标和心跳的速度没有关系，它是对每次心跳之间不一致间隙的测量。在生理条件下，HRV的产生主要是由于心脏窦房结自律活动通过交感和迷走神经、神经中枢、压力反射和呼吸活动等因素的调节作用，使得心脏每搏间期一般存在。心率变异性是区分焦虑症患者与正常群体自主神经变化的可靠指标。

由于大型神经网络通常都有过拟合的问题（神经元之间会co-adapted相互适应），因此在训练阶段，dropout通过随机关闭一些神经元（即使神经元的输出为0），来让每一个神经元都得到充分的训练，每个神经元都不依赖其他神经元（增加了隐藏层神经元的稀疏性），而在测试阶段使用所有的神经元进行测试，从而达到过拟合的效果。