浏览器中的机器学习：使用预训练模型

最新推荐文章于 2024-05-23 23:18:13 发布

云水木石

最新推荐文章于 2024-05-23 23:18:13 发布

阅读量704

点赞数 2

分类专栏： 0.人工智能文章标签： TensorFlow.js 人工智能

本文链接：https://blog.csdn.net/mogoweb/article/details/89522529

版权

0.人工智能专栏收录该内容

93 篇文章 39 订阅

订阅专栏

在上一篇文章《浏览器中的手写数字识别》中，讲到在浏览器中训练出一个卷积神经网络模型，用来识别手写数字。值得注意的是，这个训练过程是在浏览器中完成的，使用的是客户端的资源。

虽然TensorFlow.js的愿景是机器学习无处不在，即使是在手机、嵌入式设备上，只要运行有浏览器，都可以训练人工智能模型，但是考虑到手机、嵌入式设备有限的计算能力（虽然手机性能不断飞跃），复杂的人工智能模型还是交给更为强大的服务器来训练比较合适。况且目前主流的机器学习采用的是python语言，要让广大机器学习工程师从python转向js，估计大家也不会答应。

如果是这样的话，那TensorFlow.js推出还有何意义呢？

这个问题其实和TensorFlow Lite类似，我们可以在服务器端训练，在手机上使用训练出的模型进行推导，通常推导并不需要那么强大的计算能力。

在本文，我们将探索如何在TensorFlow.js中加载预训练的机器学习模型，完成图片分类任务。

在TensorFlow官网，访问 https://www.tensorflow.org/js/models/ 这个网址，可以看到里面有实时姿态预测模型、目标检测模型、语音识别模型、分类模型等等：

这里我们选择MobileNets模型。MobileNets是一种小型、低延迟、低耗能模型，满足各种资源受限的使用场景，可用于分类、检测、嵌入和分割，功能上类似于其他流行的大型模型（如Inception）。 MobileNets在延迟、大小和准确性之间取得了平衡。

有两种使用MobileNets模型的方案：

直接调用MobileNets模型的JS封装库
自己编写代码加载json格式的MobileNets模型

直接调用MobileNets模型的JS封装库

JS封装库直接将MobileNets模型封装为JS对象，我们就像调用普通的JS对象那样，调用对象方法，完成模型加载、推断。

比如访问 https://github.com/tensorflow/tfjs-models/tree/master/mobilenet ，我们可以看到该mobilenet对象提供两个主要的API：

mobilenet.load(
  version?: 1,
  alpha?: 0.25 | .50 | .75 | 1.0
)

参数：

版本：MobileNet版本号。1表示MobileNet V1，2表示使用MobileNet V2。默认值为1。
alpha：较小的alpha会降低精度，但会提高性能。默认值为1.0。

model.classify(
  img: tf.Tensor3D | ImageData | HTMLImageElement |
      HTMLCanvasElement | HTMLVideoElement,
  topk?: number
)

参数：

img：进行分类的Tensor或image元素。
topk：要返回多少个Top概率。默认值为3。

借助于封装的JS库，在浏览器中使用MobileNets就相当简单了：

<html>
  <head>
    <script src="https://cdn.jsdelivr.net/npm/@tensorflow/tfjs@1.0.1"> </script>
    <script src="https://cdn.jsdelivr.net/npm/@tensorflow-models/mobilenet@1.0.0"> </script>
  </head>
  <body>
    <img id="img" src="cat.jpg"></img>
    <script>
      const img = document.getElementById('img');

      // Load the model.
      mobilenet.load().then(model => {
        // Classify the image.
        model.classify(img).then(predictions => {
          console.log('Predictions: ');
          console.log(predictions);
        });
      });
    </script>
  </body>
</html>

注意： 这里的js代码会去google storage 加载MobileNets的JSON格式模型，而由于一些不能说的原因，国内无法访问到，请自行翻墙。