街景字符识别task2学习笔记

对baseline的模型进行了数据扩增和loss设计的改进，但不知为啥效果不好。
1.增加albumentations数据扩增方式：

def __getitem__(self, index):
        img = Image.open(self.img_path[index]).convert('RGB')#PIL读取数据为‘RGBA’格式
        img = np.asarray(img)
        #img = cv2.imread(self.img_path[index])
        #img = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)
        img = Compose([
            Blur(blur_limit=3),#模糊变换
            OpticalDistortion(),#视觉扭曲变换
            GaussNoise(), #高斯噪声    
        ],p=1.0)(image=img)['image']
        #img = cv2.GaussianBlur(img,(5,5),0) 高斯模糊变换，高斯矩阵长宽为（5,5），标准差为0
        img = Image.fromarray(img)
        
        if self.transform is not None:
            img = self.transform(img)

2.对loss添加权重系数：

def train(train_loader, model, criterion, optimizer):
    # 切换模型为训练模式
    model.train()
    train_loss = []
    
    for i, (input, target) in enumerate(train_loader):
        if use_cuda:
            input = input.cuda()
            target = target.cuda()
            
        c0, c1, c2, c3, c4 = model(input)
        loss = 0.1*criterion(c0, target[:, 0]) + \
                0.1*criterion(c1, target[:, 1]) + \
                0.1*criterion(c2, target[:, 2]) + \
               0.2*criterion(c3, target[:, 3]) + \
                0.5*criterion(c4, target[:, 4])
        
        # loss /= 6
        optimizer.zero_grad()
        loss.backward()
        optimizer.step()
        
        #if i % 100 == 0:
           # print(loss.item())
        
        train_loss.append(loss.item())
    return np.mean(train_loss)

3.cv2读取数据默认是BGR格式，转换成RGB格式为：
img = cv2.imread(‘cat.jpg’)
img = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)
4.cv2格式与PIL格式互转：
PIL转cv2
pil_image = PIL.Image.open(‘image.jpg’)
cv_image = cv2.cvtColor(numpy.asarray(pil_image), cv2.COLOR_RGB2BGR)
cv2转PIL
pil_im2 = Image.fromarray(img)