看图识熊（三）

使用Windows Machine Learning加载ONNX模型并推理

环境要求

Windows Machine Learning支持在Windows应用程序中加载并使用训练好的机器学习模型。Windows 10从10.0.17763.0版本开始提供这套推理引擎，所以需要安装17763版本的Windows 10 SDK进行开发，并且需要运行在17763及以上版本的Windows 10中。

创建UWP项目

打开Visual Studio 2017，新建项目，在Visual C#分类中选择，填写项目名称为，点击确定空白应用(通用 Windows)``ClassifyBear

在弹出的对话框中，设置目标版本和最低版本都是17763

添加模型文件到项目中

打开解决方案资源管理器中，在项目中的目录上点右键->添加->现有项，添加模型文件Assets``BearModel.onnx

模型是在应用运行期间加载的，所以在编译时需要将模型复制到运行目录下。在模型文件上点右键，属性，然后在属性面板上，将属性改为，将属性改为。生成操作``内容``复制到输出目录``如果较新则复制

打开解决方案资源管理器，应该可以看到在项目根目录自动生成了和模型同名的代码文件，里面就是对该模型的一层封装，包括了输入输出的定义、加载模型的方法以及推理的方法。BearModel.cs

如果在解决方案资源管理器中没有看到该文件，说明生成失败，失败的原因可能是路径中包含中文、或者onnx模型不合法、或者其它原因，可以尝试手动生成。

在开始菜单中找到并打开，运行如下命令VS 2017的开发人员命令提示符

mlgen.exe -i d:\BearModel.onnx -o d:\BearModel.cs -l CS -n BearModel

其中，指定ONNX模型路径，指定要生成的封装代码的路径，指定代码的语言，指定代码使用的命名空间。注意，命令中不要出现中文字符。-i``-o``-l``-n

生成成功后，可以手动将生成的BearModel.cs添加项目中;如果还是生成失败，需要根据错误信息继续排查原因

设计界面

打开，将整个Grid片段替换为如下代码：MainPage.xaml

<Grid>
    <StackPanel Margin="12">
        <TextBlock Text="输入要识别的图片地址:" Margin="12"></TextBlock>
        <TextBox x:Name="tbImageUrl" Margin="12"></TextBox>
        <Button x:Name="tbRun" Content="识别" Tapped="TbRun_Tapped" Margin="12"></Button>
        <TextBlock x:Name="tbBearType" Margin="12"></TextBlock>
        <Grid BorderBrush="Gray" BorderThickness="1" Margin="12" Width="454" Height="454">
            <Image x:Name="imgBear" Stretch="Fill" ImageOpened="ImgBear_ImageOpened" ImageFailed="ImgBear_ImageFailed"></Image>
        </Grid>
    </StackPanel>
</Grid>

显示效果如下图：

• 输入框中用来输入要识别的图片的URLtbImageUrl

• 按钮用来触发加载图片tbRun

• 文本框用来显示识别的结果tbBearType

• 图片控件用来预览要识别的图片，同时，我们也从这个控件中取出对应的图片数据，传给我们的模型推理类库去推理。这里将图片控件设置为正方形并且将属性设置为，可以保证图片拉伸显示为一个正方形的形状，这样可以方便我们直观的了解模型的输入，因为在前面查看模型信息的时候也看到了，该模型的输入图片应是227*227的正方形。imgBear``Stretch``Fill

上面的片段中分别给按钮和图片控件添加了事件响应，我们在后续小节中添加对应的实现。XAML

添加按钮的事件响应

前面文件中给按钮添加事件，这里在中完成对应的实现，从输入框中读入图片的URL，然后让图片控件加载该URL对应的图片：XAML``MainPage.xaml.cs

private void TbRun_Tapped(object sender, TappedRoutedEventArgs e)
{
    tbBearType.Text = string.Empty;
​
    Uri imageUri = null;
    try
    {
        imageUri = new Uri(tbImageUrl.Text);
    }
    catch (Exception)
    {
        tbBearType.Text = "URL不合法";
        return;
    }
​
    tbBearType.Text = "加载图片...";
​
    imgBear.Source = new BitmapImage(imageUri);
}

添加图片控件的事件响应

前面文件中给图片控件添加了两个事件：图片加载完成的事件和加载失败的事件，这里在中完成对应的实现：XAML``MainPage.xaml.cs

private void ImgBear_ImageOpened(object sender, RoutedEventArgs e)
{
    RecognizeBear();
}
​
private void ImgBear_ImageFailed(object sender, ExceptionRoutedEventArgs e)
{
    tbBearType.Text = "图片加载失败";
}

###处理模型的输入

打开自动生成的模型封装文件可以看到需要的输入如下：BearModel.cs

public sealed class BearModelInput
{
    public ImageFeatureValue data; // BitmapPixelFormat: Bgra8, BitmapAlphaMode: Premultiplied, width: 227, height: 227
}

这里需要一个类型的数据，可以使用从中创建。使用时，你可以不用担心图片格式的转换和缩放，系统会自动处理图片来匹配模型需要的输入格式。目前支持的像素格式为Gray8、Rgb8和Bgr8，色值范围为0-255。ImageFeatureValue``ImageFeatureValue.CreateFromVideoFrame``VidelFrame``ImageFeatureValue

下面是处理图片输入的代码：

private async Task<BearModelInput> GetInputData()
{
    // 将图片控件重绘到图片上
    RenderTargetBitmap rtb = new RenderTargetBitmap();
    await rtb.RenderAsync(imgBear);
​
    // 取得所有像素值
    var pixelBuffer = await rtb.GetPixelsAsync();
​
    // 构造模型需要的输入格式
    SoftwareBitmap softwareBitmap = SoftwareBitmap.CreateCopyFromBuffer(pixelBuffer, BitmapPixelFormat.Bgra8, rtb.PixelWidth, rtb.PixelHeight);
    VideoFrame videoFrame = VideoFrame.CreateWithSoftwareBitmap(softwareBitmap);
    ImageFeatureValue imageFeatureValue = ImageFeatureValue.CreateFromVideoFrame(videoFrame);
​
    BearModelInput bearModelInput = new BearModelInput();
    bearModelInput.data = imageFeatureValue;
    return bearModelInput;
}

加载模型并推理

这是最关键的一步，也是非常简单的一步。自动生成的模型封装文件中已经封装了加载模型的方法和推理的方法，直接调用就可以：BearModel.cs

private async void RecognizeBear()
{
    // 加载模型
    StorageFile modelFile = await StorageFile.GetFileFromApplicationUriAsync(new Uri($"ms-appx:///Assets/BearModel.onnx"));
    BearModelModel model = await BearModelModel.CreateFromStreamAsync(modelFile);
​
    // 构建输入数据
    BearModelInput bearModelInput = await GetInputData();
​
    // 推理
    BearModelOutput output = await model.EvaluateAsync(bearModelInput);
​
    tbBearType.Text = output.classLabel.GetAsVectorView().ToList().FirstOrDefault();
}

测试

编译运行，然后在网上找一张熊的图片，把地址填到输入框内，然后点击识别按钮，就可以看到识别的结果了。注意，这个URL应该是图片的URL，而不是包含该图片的网页的URL。

   在线教程

• 麻省理工学院人工智能视频教程 – 麻省理工人工智能课程
• 人工智能入门 – 人工智能基础学习。Peter Norvig举办的课程
• EdX 人工智能 – 此课程讲授人工智能计算机系统设计的基本概念和技术。
• 人工智能中的计划 – 计划是人工智能系统的基础部分之一。在这个课程中，你将会学习到让机器人执行一系列动作所需要的基本算法。
• 机器人人工智能 – 这个课程将会教授你实现人工智能的基本方法，包括：概率推算，计划和搜索，本地化，跟踪和控制，全部都是围绕有关机器人设计。
• 机器学习 – 有指导和无指导情况下的基本机器学习算法
• 机器学习中的神经网络 – 智能神经网络上的算法和实践经验
• 斯坦福统计学习

有需要的小伙伴，可以点击下方链接免费领取或者V扫描下方二维码免费领取🆓
​

人工智能书籍

• OpenCV（中文版）.(布拉德斯基等)
• OpenCV+3计算机视觉++Python语言实现+第二版
• OpenCV3编程入门 毛星云编著
• 数字图像处理_第三版
• 人工智能:一种现代的方法
• 深度学习面试宝典
• 深度学习之PyTorch物体检测实战
• 吴恩达DeepLearning.ai中文版笔记
• 计算机视觉中的多视图几何
• PyTorch-官方推荐教程-英文版
• 《神经网络与深度学习》(邱锡鹏-20191121)
• …
  

第一阶段：零基础入门（3-6个月）

新手应首先通过少而精的学习，看到全景图，建立大局观。 通过完成小实验，建立信心，才能避免“从入门到放弃”的尴尬。因此，第一阶段只推荐4本最必要的书（而且这些书到了第二、三阶段也能继续用），入门以后，在后续学习中再“哪里不会补哪里”即可。

第二阶段：基础进阶（3-6个月）

熟读《机器学习算法的数学解析与Python实现》并动手实践后，你已经对机器学习有了基本的了解，不再是小白了。这时可以开始触类旁通，学习热门技术，加强实践水平。在深入学习的同时，也可以探索自己感兴趣的方向，为求职面试打好基础。

第三阶段：工作应用

这一阶段你已经不再需要引导，只需要一些推荐书目。如果你从入门时就确认了未来的工作方向，可以在第二阶段就提前阅读相关入门书籍（对应“商业落地五大方向”中的前两本），然后再“哪里不会补哪里”。

 有需要的小伙伴，可以点击下方链接免费领取或者V扫描下方二维码免费领取🆓
​