项目实训七（2021-07-12）

第三周计划

前两周已经基本完成前台界面搭建及后台上传功能。第三周计划完成整个模块的研发调试并进行系统优化和测试。

算法嵌入

算法嵌入思路是采用flask接口对深度学习模型进行封装，提前将模型加载到显卡和内存中，如果flask接口接收到图片后可以快速的对图像进行预处理和推理，并将结果返回到网页当中。预加载模型部分，可以将权重文件提前加入到显卡中，并将权重文件加载到模型中，提高处理速度。Restful接口部分，对应http协议中的文件流，使用PIL模块中的Image.open()方法读取对应的二进制文件流，这样可以读取所有种类的图形文件。后将文件传输给嵌入式模型中，输出结果。
即算法在进入eval模式后，将训练模型载入显卡中，每次post请求将图片转移到显卡中，然后使用模型进行识别测试输出预测的概率，并且从大到小进行排序，接口返回的数据是概率以及对应的食物种类。

class FoodInference():
    def __init__(self) -> None:
        self.model = MyModel()
        self.model = self.model.cuda()
        self.model = nn.DataParallel(self.model)

        self._load_model()
        with open("./MeishiChina_ingre_words_chinese.txt", "r", encoding="utf-8") as f:
            self.foods = f.readline().split(',')
            self.foods = np.array(self.foods)

    def _load_model(self):
        pre_dict = torch.load("./model-9.pt")
        self.model.load_state_dict(pre_dict)

    # input rgb image
    def out(self, image, number=10):
        #input_image = Image.open("./test4.jpg").convert('RGB')

        input_image = np.array(image)
        input_image = cv2.resize(input_image, (224, 224))

        input_image = input_image.astype(np.float32)
        transform = transforms.ToTensor()
        input_tensor = transform(input_image)
        input_tensor = torch.unsqueeze(input_tensor, 0)
        pred = self.model(input_tensor.cuda()).cpu()
        food_index = np.argpartition(
            pred[0].detach().numpy(), -number)[-number:].tolist()
        food_dict = {}
        for i in food_index:
            food_dict[self.foods[i]] = pred[0].detach().numpy().tolist()[i]
        sorted_list = sorted(
            food_dict.items(), key=lambda e: e[1],  reverse=True)
        sorted_food_dict = {}
        for e in sorted_list:
            sorted_food_dict[e[0]] = e[1]
        return sorted_food_dict

对接口进行测试，测试成功后就可以进一步部署到前端，进行前端网页的图片上传和对应的食物组成结果的响应