WebRTC + Tensorflow.js 在运动健康类项目中的前端应用

前言

你可能会想，作为一个前端开发员,既没有人工智能和机器学习的基础，又没有深厚的学术理论功底能做深度学习吗？

答案是肯定的。 为什么呢？

首先，我们要知道的是，目前社区中已经有很多非常成熟并且已经训练好的模型，比如：人脸识别、人体姿态识别、图像分类、图像分割、目标检测等等等等，非常多，这些模型都是经过大量的数据训练得到的，我们只需要学会如何使用这些模型，并不需要自己去写算法，去训练模型。它就像 npm 的包一样，安装它，看文档，使用它，就可以了。

如果我们只是从应用深度学习的角度出发，去使用现成的模型，来解决我们现实中存在的问题。那么就像前后端分离一样，让专业的人去做专业的事，深度学习也是如此，我们并不需要去花很多时间，深入了解深度学习的原理，也不需要自己去训练复杂的算法模型。

而 Tensorflow.js 就是一扇前端开发人员进入深度学习领域最好的大门，它提供了一套完整的 API，让我们可以很方便的使用深度学习模型。它可以在浏览器中运行，也可以在 node.js 中运行。它的 API 设计非常简单，而且它的文档也非常详细，我们可以很快的上手。

一些常见的深度学习模型可以看 👉🏻 开箱即用的 TensorFlow.js 预训练模型,它们都是开源的👉🏻 Github 地址。

社区中所有的模型可以在这里找到 👉🏻 TensorFlow Hub

人体姿态识别

在这篇文章中，我们将会介绍如何使用 WebRTC 相关 API 结合 Tensorflow.js 来实现一个运动直播的应用。

TensorFlow.js 与 WebRTC 结合，可以实现实时的人体姿态检测，从而可以在运动健康的直播中实现人体姿态的跟踪和识别。这样“老师”，或者“学员”能够更加直观的感受到自己和他人的身体姿态是否一致，能更清晰的观察动作的准确性，一致性。当然，这个应用还可以用于其他的场景，比如：健身房、瑜伽教室、舞蹈教室等等。

人体姿态估计的方法有很多，如：基于深度学习的方法、基于传统机器学习的方法、基于几何的