2021-06-20角度标注的resnet50训练

项目场景：

既要脚踏实地，又要仰望星空。路虽远，不行不至。道弥长，更需把握方向。
近两天目标：

• resnet+centernet角度回归的的head，成功开始训练
• 二维图像很难直接回归出三维信息，一般都利用pnp2d->3d，结果应该不理想

任务：
数据集

• 数据集：label加上q100，q60，q90的分类
• 数据集：角度分成两类，加上bin1、bin2的标注
• 数据集：分成train，test，valida三类
• 数据集： 加上起落架的数据
• 数据增强：随机截取成正方形（850
• 加负样本图片
• train：损失函数
  使用CNN进行角度估计
• model：输出的全连接层设计
• 维度怎样匹配

---

tensorflow tensor运算
multiply 等同与* ，用于计算矩阵之间的element-wise 乘法，要求矩阵的形状必须一致(或者是其中一个维度为1)，否则会报错

pytorch中tensor.expand()和tensor.expand_as()函数解读
相当于复制

pytorch中index_select()的用法
第一个参数是索引的对象，第二个参数0表示按行索引，1表示按列进行索引，第三个参数是一个tensor，就是索引的序号，比如b里面tensor[0， 2]表示第0行和第2行，c里面tensor[1, 3]表示第1列和第3列

smooth_L1_loss

sin和cos值都在(0, 1)之间，所以带有平方，

loss_res += loss_sin2 + loss_cos2

带有平方的属性，最后省略求根，符合计算距离的勾股定理。
其实就算是绝对值，相加后的大小属性和平方是一致的。

Q:

vision_normalize = torchvision.transforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225])

    nn.Dropout(0.4),

TypeError: default_collate: batch must contain tensors, numpy arrays, numbers, dicts or lists found

读取数据集时将数据转为Tensor数据类型

dataset

    if self.transform:
        img = self.transform(img)
        T_label = torchvision.transforms.ToTensor()

ValueError: setting an array element with a sequence

    label = np.array([cart_class, P_label[0:4], P_label[4:8], R_label[0:4], R_label[4:8], Y_label[0:4], Y_label[4:8]])
    label = np.reshape(label, [1, 28])

typeerror

python中PIL.Image和OpenCV图像格式相互转换

    try:
        img = cv2.imread(img_path)
    except TypeError:
        print("TypeError occur")
        img_PIL = Image.open(img_path)
        img = cv2.cvtColor(np.asarray(img_PIL), cv2.COLOR_RGB2BGR)

    divided_file = np.array(self.list[index])
    divided_file[1:] = divided_file[1:].astype(np.float)

标记联合.

def angelgen(self, angel):
    # ----------- 判断bin --------------------------------
    hudu = self.pi*angel[0]/180
    if angel[1] == 1:
        angel_label = [1, 0, hudu-self.m1, hudu-self.m2]
    elif angel[1] == 2:
        angel_label = [0, 1, hudu-self.m1, hudu-self.m2]
    else:
        angel_label = [1, 1, hudu-self.m1, hudu-self.m2]

    return angel_label

def cartclassgen(self, cart):
    # [0, q0, q60, q90]
    if cart == 60:
        return 2
    elif cart == 90:
        return 3
    elif cart == 0:
        return 1
    else:
        return 0

    label = np.array([cart_class, P_label[0], P_label[1], P_label[2], P_label[3],
                      R_label[0], R_label[1], R_label[2], R_label[3],
                      Y_label[0], Y_label[1], Y_label[2], Y_label[3]])

loss

def all_loss(outputs, target):
	outputs = outputs.view(-1, 28)
 target = target.view(-1, 28)
loss_C0 = F.cross_entropy(outputs[:, 0:4], target[:, 0], reduction='elementwise_mean')
loss_q0 = F.cross_entropy(outputs[:, 0:4], target[:, 1], reduction='elementwise_mean')
loss_q60 = F.cross_entropy(outputs[:, 0:4], target[:, 2], reduction='elementwise_mean')
loss_q90 = F.cross_entropy(outputs[:, 0:4], target[:, 3], reduction='elementwise_mean')