MindSpore之Faster_rcnn

前一阵子参加了华为的多目标检测比赛 link，尝试通过 faster_rcnn 算法定位和分类病理图像中的癌细胞。MindSpore 是华为的 AI 框架，支持华为自研的Ascend芯片。MindSpore目前不支持macOS，不过组织方提供了华为云作为训练平台。以下将分享使用mindspore及华为云的经验。

Notebook

1. 首先可以从mindspore官方的 gitee 上下载faster_rcnn模型, 注意原先的model_zoo已经被移至model 仓库，同时还可以这里 link 下载在imageNeth上预训练的模型，我选择的是resnet_50。

2. 接下来使用华为云的model_art新建notebook。有多种设置可以进行选择，我使用的是mindspore1.2.1-cuda10.1和Ascend. 这个笔记本跟google colab类似但功能更加强大，你可以在上面新建jupyter notebook，打开ternimal, 查看json,csv文件(文件查看器的功能很棒)等等。 将需要用的文件保存在work文件夹下，包括先前下载的faster_rcnn和预训练模型。

3. 按照faster_rcnn下的readme文件执行代码，首先应该修改default_config.yaml, 根据你使用的数据集更改coco_classes和num_classes。这一步在readme文件中省略了，但是会影响模型的结构和训练的效率。接下来对预训练的模型进行处理

   python convert_checkpoint.py --ckpt_file=[BACKBONE_MODEL]
   

   ckpt_file为到预训练的模型的路径。这步之后会得到所需要的backbone.ckpt。

4. 下一步是处理自己的数据集，新建txt文件，每行是按空间分割的图像标注，格式如下

   0000001.jpg 0,259,401,459,7,0 35,28,324,201,2,0 0,30,59,80,2,0
   

   第一列是图像的相对路径【不需要写成train2017/0000001.jpg】，其余为[xmin,ymin,xmax,ymax,class,is_crowd]格式的框

5. 继续修改default_config.yaml，save_checkpoint_epochs修改成10（notebook上的空间有限，设为1可能在几十个epoch后出现disk存储空间不够用），更改anno_path和image_dir。

6. 执行bash run_standalone_train_ascend.sh [PRETRAINED_MODEL] [BACKBONE] [COCO_ROOT] [MINDRECORD_DIR]。PRETRAINED_MODEL为backbone.ckpt的路径。BACKBONE=resnet_v1.5_50，COCO_ROOT不需要，MINDRECORD_DIR设成想要存放MINDRECORD的路径。MINDRECORD类似tensorflow的tfrecord。

   
   注意：第一个epoch涉及图的生成会比较慢

7. 执行bash run_eval_ascend.sh [VALIDATION_JSON_FILE] [CHECKPOINT_PATH] [BACKBONE] [COCO_ROOT] [MINDRECORD_DIR]。CHECKPOINT_PATH为训练得到的faster_rcnn-12_50.ckpt 。如果只想看在训练集上的结果，[VALIDATION_JSON_FILE]可以直接使用annotations/train.txt ，[COCO_ROOT] [MINDRECORD_DIR]保持不变。

8. 下载生成的results.pkl.bbox，进行可视化
   
   可以看到结果不是很理想，可能是训练次数不够多的问题。

   #可视化的代码
   with open(anno_path,"r") as f:
       imgs=[image_dir+line.strip().split(" ")[0] for line in f.readlines()]
   with open(anno_path,"r") as f:
       annotations=get_annotation(f)
   with open(pred_path,"r") as fp:
       pred_res=json.load(fp)
   id2img=dict(zip(range(1,len(imgs)+1),imgs))
   
   for kk in id2img:
       # draw image
       df=pd.DataFrame(pred_res)
       image_path=id2img[kk]
       f = Image.open(image_path) 
       img_np = np.asarray(f ,dtype=np.float32)
       fig = plt.figure()
       ax = fig.add_subplot(1,1,1)
       ax.imshow(img_np.astype(np.uint8))
   
       # draw prediction
       df_group=df.groupby('image_id')
       df_i=df_group.get_group(kk)
       for box_index in range(len(df_i)):
           boxes=df_i.iloc[box_index]
           ymin=boxes["bbox"][0]
           xmin=boxes["bbox"][1]
           ymax=boxes["bbox"][2]
           xmax=boxes["bbox"][3]
           ax.add_patch(plt.Rectangle((xmin,ymin),(xmax-xmin),(ymax-ymin),fill=False,edgecolor='red', linewidth=1))
       
       # draw ground truth
       annotation=annotations[kk]
       for anno in annotation:
           xmin=anno[0]
           ymin=anno[1]
           xmax=anno[2]
           ymax=anno[3]
           ax.add_patch(plt.Rectangle((xmin,ymin),(xmax-xmin),(ymax-ymin),fill=False,edgecolor='blue', linewidth=1))
           labels = []
       plt.show()
       break
   

OBS & Algorithm

一般来说，在notebook上完成debug后，就进入到实际的训练的环节，这一步需要执行上百个epoch，通常用ModelArts上的Algorithm和training job来完成。接下来介绍如何使用OBS以及如何在ModelArts上创建Algorithm进行训练。整个过程分成三步

1. 将代码和模型上传OBS。
   在执行bash run_standalone_train_ascend.sh时，会在script下新建train文件夹。只需要上传此文件夹和faster_rcnn-12_50.ckpt即可。其中default_config和train.py需要进行一些修改。default_config: 将data_url，label_url，metadata_url设定成数据集的位置

   #Train.py: 在训练前对数据集进行处理
   def parse_data():
       data_path = './dataset/' 
       if not os.path.exists(data_path):
           mox.file.copy_parallel(src_url=config.data_url, dst_url=data_path)
       label_path = './labels.csv' 
       if not os.path.exists(label_path):
           mox.file.copy_parallel(src_url=config.label_url, dst_url=label_path)
       metadata_path = './metadata.csv' 
       if not os.path.exists(metadata_path):
           mox.file.copy_parallel(src_url=config.metadata_url, dst_url=metadata_path)
       
       os.mkdir("./train/")
       os.mkdir("./eval/")
       os.mkdir("./annotations/")
       file = open('./annotations/train.txt','w')
       file.close()
       data_path = './dataset/images/' 
           
       image_files, image_anno_dict = filter_valid_data(label_path, data_path)
       metadata_df = pd.read_csv(metadata_path)
       train_test_split = 1
       split_at = len(image_files)*train_test_split
   
       for idx, image_name in enumerate(image_files):
           image_path = os.path.join(data_path, image_name + '.bmp')
           image_metadata = metadata_df[metadata_df.image_id == image_name].iloc[0]
           w = image_metadata.width
           h = image_metadata.height
           image_anno_dict[image_name][:,[0,2]] *= w
           image_anno_dict[image_name][:,[1,3]] *= h
           bool_matrix = image_anno_dict[image_name][:,4:] == 1
   
           classes=[]
           categs=np.arange(4)
           for row in bool_matrix:
               classes.append(get_categ(categs[row]))
           if len(classes)!=len(image_anno_dict[image_name]):
               print("warning")
   
           annos = np.array(image_anno_dict[image_name],dtype=np.int32)
           if idx < split_at:
               ty="train"
           else:
               ty="test"
               break
           shutil.move(image_path,f"./{ty}/")
           save_anno(image_name+ '.bmp',annos,classes,ty)
   
       
       with open("./annotations/train.txt","r") as f:
           print(f.readlines()[0])
       mox.file.copy_parallel(src_url="./annotations", dst_url=config.mindrecord_dir)
       config.anno_path="./annotations/train.txt"
       config.image_dir="./train/"
   

   这里会通过Moxing框架进行一些文件的拷贝【image source: Mindsporechallenge】
   ​

2. 创建algorithm
   注意：需要保存的文件，为其设定路径时，一定要放在output path mapping configuration里
   

3. 设定training job
   这里不需要像之前使用bash来跑了【当然也可以，但是需要通过python来调用bash，然后bash在调用python, 还不如直接使用python】
   

对华为产品的体验：

1. notebook挺好用的，它同时有三个功能，file explorer, jupyter notebook, ternimal，但是对下载文件的大小有限制。
2. Algorithm中对input_rul和ouput_url进行区分，如果不小心把保留文件的路径设成input_url就会无法保留。
3. OBS啥的还是比较麻烦，上传文件有个数限制，下载文件似乎不能批量下载。文件没有查看功能，而且不好移动到别的文件夹。在notebook上得到的checkpoint，需要先下载下来（好像不能超过100M?），再保存到OBS里，相当于重新弄了一遍。对初上手来说，需要比较多的尝试。