2024 7.8~7.14 周报

一、上周工作

2024 7.1~7.7 周报-CSDN博客

二、本周计划

跑实验、机器学习、数学表达式

三、完成情况

1. 跑实验

1）编码器加入DenseNet，并在解码器的第一层加入cbam：

损失函数——smooth、lpips，跑的CurveVelA，学习率0.001，数据量24000。

改了损失函数后效果并没有之前好，指标上lpips体现较为明显，跟InversionNet差不多。效果上层与层的轮廓也没有之前清晰。

分析原因：损失函数设计的问题

跑完大数据量并没有很大提升，过于耗时，后面开始从小数据量进行训练，及时止损。

2）测试网络部分——5000数据量

损失函数：l1+l2

跑的CurveFaultA

学习率0.0001

①基于Inv，编码器加入了DenseNet，并在解码器的每一层加入cbam：密集连接已经学习到较多的特征了，解码器每一层都加入cbam，效果并没有很大提升，还会增加计算量。

②基于Inv，编码器加入了DenseNet，并在解码器的第一层加入cbam：测试网络的三个实验中，指标和效果最好，所有指标均优于Inv。

③基于Inv，编码器加入了DenseNet：loss有点奇怪，可能是数据集不同，在第100 epoch左右，loss出现垂直下降。

3）测试损失函数部分——5000数据量

损失函数：mae、logcosh

跑的CurveFaultA

学习率0.0001

指标和效果目前最好。

2.机器学习

机器学习常识、激活函数、softmax、多个输出的分类（Optional）

3.数学表达式

累加累乘、积分、min、argmin

4.如何知道模型中不同层的名称呢？

一种方法是直接print打印模型，效果如下：

DenseNet(
  (convblock1): ConvBlock(
    (layers): Sequential(
      (0): Conv2d(5, 32, kernel_size=(7, 1), stride=(2, 1), padding=(3, 0))
      (1): BatchNorm2d(32, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
      (2): LeakyReLU(negative_slope=0.2, inplace=True)
    )
  )
  (layer1): DenseBlock(
    (layers): Sequential(
      (0): _DenseLayer(
        (dense_layer): Sequential(
          (0): BatchNorm2d(64, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
          (1): ReLU(inplace=True)
          (2): Conv2d(64, 128, kernel_size=(1, 1), stride=(1, 1), bias=False)
          (3): BatchNorm2d(128, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
          (4): ReLU(inplace=True)
          (5): Conv2d(128, 32, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1), bias=False)
        )
        (dropout): Dropout(p=0, inplace=False)
      )
      (1): _DenseLayer(
        (dense_layer): Sequential(
          (0): BatchNorm2d(96, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
          (1): ReLU(inplace=True)
          (2): Conv2d(96, 128, kernel_size=(1, 1), stride=(1, 1), bias=False)
          (3): BatchNorm2d(128, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
          (4): ReLU(inplace=True)
          (5): Conv2d(128, 32, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1), bias=False)
        )
        (dropout): Dropout(p=0, inplace=False)
      )
      (2): _DenseLayer(
        (dense_layer): Sequential(
          (0): BatchNorm2d(128, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
          (1): ReLU(inplace=True)
          (2): Conv2d(128, 128, kernel_size=(1, 1), stride=(1, 1), bias=False)
          (3): BatchNorm2d(128, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
          (4): ReLU(inplace=True)
          (5): Conv2d(128, 32, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1), bias=False)
        )
        (dropout): Dropout(p=0, inplace=False)
      )
      (3): _DenseLayer(
        (dense_layer): Sequential(
          (0): BatchNorm2d(160, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
          (1): ReLU(inplace=True)
          (2): Conv2d(160, 128, kernel_size=(1, 1), stride=(1, 1), bias=False)
          (3): BatchNorm2d(128, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
          (4): ReLU(inplace=True)
          (5): Conv2d(128, 32, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1), bias=False)
        )
        (dropout): Dropout(p=0, inplace=False)
      )
      (4): _DenseLayer(
        (dense_layer): Sequential(
          (0): BatchNorm2d(192, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
          (1): ReLU(inplace=True)
          (2): Conv2d(192, 128, kernel_size=(1, 1), stride=(1, 1), bias=False)
          (3): BatchNorm2d(128, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
          (4): ReLU(inplace=True)
          (5): Conv2d(128, 32, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1), bias=False)
        )
        (dropout): Dropout(p=0, inplace=False)
      )
      (5): _DenseLayer(
        (dense_layer): Sequential(
          (0): BatchNorm2d(224, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
          (1): ReLU(inplace=True)
          (2): Conv2d(224, 128, kernel_size=(1, 1), stride=(1, 1), bias=False)
          (3): BatchNorm2d(128, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
          (4): ReLU(inplace=True)
          (5): Conv2d(128, 32, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1), bias=False)
        )
        (dropout): Dropout(p=0, inplace=False)
      )
    )
  )
  (transition1): _TransitionLayer(
    (transition_layer): Sequential(
      (0): BatchNorm2d(256, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
      (1): ReLU(inplace=True)
      (2): Conv2d(256, 128, kernel_size=(1, 1), stride=(1, 1), bias=False)
      (3): AvgPool2d(kernel_size=2, stride=2, padding=0)
    )
  )
)

另一种方法是使用get_graph_node_names函数，效果如下：第一个x是输入

['x', 'convblock1.layers.0', 'convblock1.layers.1', 'convblock1.layers.2',  'layer1.layers.0.dense_layer.0', 'layer1.layers.0.dense_layer.1', 'layer1.layers.0.dense_layer.2', 'layer1.layers.0.dense_layer.3', 'layer1.layers.0.dense_layer.4', 'layer1.layers.0.dense_layer.5', 'layer1.layers.0.cat', 'layer1.layers.1.dense_layer.0', 'layer1.layers.1.dense_layer.1', 'layer1.layers.1.dense_layer.2', 'layer1.layers.1.dense_layer.3', 'layer1.layers.1.dense_layer.4', 'layer1.layers.1.dense_layer.5', 'layer1.layers.1.cat', 'layer1.layers.2.dense_layer.0', 'layer1.layers.2.dense_layer.1', 'layer1.layers.2.dense_layer.2', 'layer1.layers.2.dense_layer.3', 'layer1.layers.2.dense_layer.4', 'layer1.layers.2.dense_layer.5', 'layer1.layers.2.cat', 'layer1.layers.3.dense_layer.0', 'layer1.layers.3.dense_layer.1', 'layer1.layers.3.dense_layer.2', 'layer1.layers.3.dense_layer.3', 'layer1.layers.3.dense_layer.4', 'layer1.layers.3.dense_layer.5', 'layer1.layers.3.cat', 'layer1.layers.4.dense_layer.0', 'layer1.layers.4.dense_layer.1', 'layer1.layers.4.dense_layer.2', 'layer1.layers.4.dense_layer.3', 'layer1.layers.4.dense_layer.4', 'layer1.layers.4.dense_layer.5', 'layer1.layers.4.cat', 'layer1.layers.5.dense_layer.0', 'layer1.layers.5.dense_layer.1', 'layer1.layers.5.dense_layer.2', 'layer1.layers.5.dense_layer.3', 'layer1.layers.5.dense_layer.4', 'layer1.layers.5.dense_layer.5', 'layer1.layers.5.cat', 'transition1.transition_layer.0', 'transition1.transition_layer.1', 'transition1.transition_layer.2', 'transition1.transition_layer.3']

四、存在的主要问题

1. 训练时，loss在下降，但是时间在震荡，考虑是设计的损失函数出现的问题吗？

之前正常情况下，每个epoch的时间是不会有太大变化。跑实验时由最初的4min20s，到4min52s。

2. 测试：在生成图片时突然停止，发生报错：Fail to allocate bitmap。

原因：内存不足。问题的原因应该是plt.show()虽然没显示，但还是会占用内存。

解决办法：在引用的地方加上：

import matplotlib
matplotlib.use("Agg")

重新运行，没有再终止了 

3. 训练结束无法展示png图片。UserWarning: Matplotlib is currently using agg, which is a non-GUI backend, so cannot show the figure.   plt.show()

——出现的问题是上面一个问题导致的，show.py文件中终端被修改成了Agg（非交互式）。全部修改成TkAgg（交互式）。

4. 如何设计出一个较好的损失函数？

五、下一步计划

原计划7.17交论文初稿，因为实验的原因，需要延后。

还需要测学习率、CurveVelA数据集，测完后准备在工作站跑大实验。

思考动机：网络、损失函数为什么要这样设计。