1 常见的物联网AI计算模式
目前，物联网AI物体检测技术已经非常成熟了，它的计算模式只要有两种，一种是用云端来完成AI计算再把结果发回给终端，一种是直接在终端设备上做边缘计算。
终端上做边缘计算对设备的计算性能要求比较高，于是谷歌推出了Edge TPU，可以以较低的延迟完成AI计算。如果手头没有Edge TPU，也可以使用ARM处理器来跑，就是速度慢很多，不能实时检测。
在云端计算领域，百度AI推出了EasyDL物体检测服务。在这种计算架构下，终端设备的计算量非常小。终端设备只需要负责图像采集，然后把图像发给云端，所有的AI计算都在云端完成，然后云端再把计算结果还给终端设备。
但是，云计算模式也有缺点，那就是带宽和数据延迟。云服务器实际上就是机房的虚拟主机，每台主机的共享网络带宽是受限的；然后，虚拟主机与你隔了几万里，中间又隔了好多个路由器；它距离你的设备越远，网络延迟也就越大。
2 局域网AI计算
如果使用网络计算模式，有没有方法减少这种延迟呢？很简单，把计算服务器布置在本地就好了。
技术上，我可以给桌面台式机编写一个程序把它变成计算服务器，让它处理来自LeezP710的图像，然后用低延迟的UDP协议发送回去。另外，要注意WIFI转发的延迟也很大，所以尽量使用千兆以太网。正好，我手头这块Leez P710开发板和我的桌面台式机都带有千兆网络接口。
这个开发需求，对我们这种linux老司机来说，非常简单，一晚上就能把功能实现。
是展示真正的技术的时候啦！
3 功能实现
我很快就把猫咪检测的demo做出来了，而且还是个通用度很高、可维护性很好的代码，稍加修改就可变成检测人、狗或车辆的。
程序我都会开源到github，不管你学或不学，学得会或学不会，我的开源方案全套源代码都在那里。
3.1 终端设备
Leez P710上面开启了两个程序，一个是mjpg streamer，把USB摄像头捕获的图像发给局域网的计算服务器。另一个是我编写的clouddetec客户端程序。这两个程序都不涉及AI计算，所以可以跑得飞快。
其中，mjpg streamer来自开源项目，用于实现Leez P710的USB摄像头图像采集，安装方法见我另一篇帖子《USB摄像头填坑记》
LeezP710启动网络视频流的脚本如下
mjpg_streamer -o "output_http.so -w ./www" -i "input_uvc.so -d /dev/video8 -r 640x480 -f 30"我编写的clouddetec客户端程序的代码如下。
#include <iostream>
#include <string.h>
#include <stdio.h>
#include <stdlib.h>
#include "opencv2/opencv.hpp"
#include <sys/types.h>
#include <sys/socket.h>
#include<pthread.h>
#include <netinet/in.h>
#include <unistd.h>
#include <time.h>
#include <arpa/inet.h>
#include <netdb.h>
#include <errno.h>
using namespace cv;
using namespace std;
int main()
{
Mat frame;
VideoCapture cap("http://192.168.1.103:8080/?action=stream");
char filename[256];
int i;
struct sockaddr_in addr;
addr.sin_family = AF_INET;
addr.sin_port = htons(6000);
addr.sin_addr.s_addr = htonl(INADDR_ANY);
int sock;
sock = socket(AF_INET, SOCK_DGRAM, 0);
bind(sock, (struct sockaddr *)&addr, sizeof(addr));
char buff[64];
struct sockaddr_in clientAddr;
int n;
unsigned int len = sizeof(clientAddr);
while (1)
{
n = recvfrom(sock, buff, 64, 0, (struct sockaddr*)&clientAddr, &len);
if (n > 0)
{
char *tmpi = (char*)buff;
printf("%s %u says: %c %c %c
", inet_ntoa(clientAddr.sin_addr), ntohs(clientAddr.sin_port), tmpi[0], tmpi[1], tmpi[2]);
i++;
cap >> frame;
sprintf(filename, "/mnt/ud/detec/%06d.jpg", i);
imwrite(filename, frame);
}
}
return 0;
}
以上代码的运行过程是这样的。LeezP710使用opencv捕获自己的网络视频流，但不对图像做任何处理。P710实时侦听6000号端口的UDP数据。服务端检测到猫咪图像后会给P710发送数据。P710收到后才知道检测到猫了，于是把当前的图像保存成jpg图片，放到detec文件夹下。
3.2 云端计算服务
服务端软件opencvudp，是个windows程序，需要用VisualStudio编译，OpenCV用的是带DNN模块的4.1.0版本，代码如下
#include "stdafx.h"
#include "opencv2/opencv.hpp"
#include <opencv2/dnn/dnn.hpp>
#include <iostream>
#include <string>
#include <WS2tcpip.h>
#include <WINSOCK2.H>
#include <process.h>
#pragma comment(lib,"ws2_32.lib")
using namespace cv;
using namespace std;
using namespace dnn;
int main()
{
加载套接字库
WORD wVersionRequested;
WSADATA wsaData;
int err;
wVersionRequested = MAKEWORD(2, 2);
err = WSAStartup(wVersionRequested, &wsaData);
//创建套接字
SOCKET sockClient = socket(AF_INET, SOCK_DGRAM, 0);
SOCKADDR_IN addrServer;
inet_pton(AF_INET, "192.168.1.103", (PVOID *)(&addrServer.sin_addr.S_un.S_addr));
addrServer.sin_family = AF_INET;
addrServer.sin_port = htons(6000);
char *Buff = new char [3];//UDP发送的char
String prototxt = "MobileNetSSD_deploy.prototxt";
String caffemodel = "MobileNetSSD_deploy.caffemodel";
Net net = readNetFromCaffe(prototxt, caffemodel);
const char* classNames[] = { "background", "aeroplane", "bicycle", "bird", "boat", "bottle", "bus", "car", "cat", "chair",
"cow", "diningtable", "dog", "horse", "motorbike", "person", "pottedplant", "sheep", "sofa", "train", "tvmonitor" };
float detect_thresh = 0.10;
VideoCapture cap("http://192.168.1.103:8080/?action=stream;dummy=param.mjpg");
//if (!cap.isOpened()) return -1;
Mat frame;
int xLeftBottom ;
int yLeftBottom ;
int xRightTop ;
int yRightTop ;
while (true)
{
cap >> frame;
if (frame.empty()) break;
clock_t start_t = clock();
net.setInput(blobFromImage(frame, 1.0 / 127.5, Size(300, 300), Scalar(127.5, 127.5, 127.5), false, false));
Mat cvOut = net.forward();
cout << "Cost time: " << clock() - start_t << endl;
Mat detectionMat(cvOut.size[2], cvOut.size[3], CV_32F, cvOut.ptr<float>());
for (int i = 0; i < detectionMat.rows; i++)
{
int obj_class = detectionMat.at<float>(i, 1);
float confidence = detectionMat.at<float>(i, 2);
if (confidence > detect_thresh)
{
size_t objectClass = (size_t)(detectionMat.at<float>(i, 1));
xLeftBottom = static_cast<int>(detectionMat.at<float>(i, 3) * frame.cols);
yLeftBottom = static_cast<int>(detectionMat.at<float>(i, 4) * frame.rows);
xRightTop = static_cast<int>(detectionMat.at<float>(i, 5) * frame.cols);
yRightTop = static_cast<int>(detectionMat.at<float>(i, 6) * frame.rows);
ostringstream ss;
int tmpI = 100 * confidence;
ss << tmpI;
//ss << confidence;
String conf(ss.str());
Rect object((int)xLeftBottom, (int)yLeftBottom,
(int)(xRightTop - xLeftBottom),
(int)(yRightTop - yLeftBottom));
if (classNames[objectClass] == "cat")
{
rectangle(frame, object, Scalar(0, 0, 255), 2);
//String label = String(classNames[objectClass]) + ": " + conf;
//String label = String(classNames[objectClass]);
String label = String(classNames[objectClass]) + ": " + conf + "%";
//putText(image, label, Point(xLeftBottom, yLeftBottom - 10), 3, 1.0, Scalar(0, 0, 255), 2);
putText(frame, label, Point(xLeftBottom, yLeftBottom + 30), 3, 1.0, Scalar(0, 0, 255), 2);
Buff[0] = 'C';//这是给UDP的buff
Buff[1] = 'A';
Buff[2] = 'T';
printf("%c %c %c
", Buff[0], Buff[1], Buff[2]);
//要发送的字符串
char *charBuff = (char *)Buff;//把数组变成char数组
//UDP发送char数组
sendto(sockClient, charBuff, strlen(charBuff) + 1, 0, (SOCKADDR*)&amp;addrServer, sizeof(SOCKADDR));
}
}
}
imshow("test", frame);
if (cv::waitKey(1) &gt; 1) break;
}
return 0;
}
它的运行过程是这样的。OpenCV捕获来自P710的mjpg stream视频流的图像，通过mobileNet SSD检测图像是否有猫咪。如果检测到有猫，就通过UDP给P710一个反馈信息。反馈信息是个字符数组CAT。服务端还开启了一个监视窗口，可以观察实时的检测图像。
3.3 代码开源地址
以上两个代码都已经开源在我的github，文件夹名叫LeezAI
https://github.com/xukejing/LeezRK3399/tree/master/LeezAI
要用到的MobileNetSSD模型，可以去我的另一个开源项目里下载
https://github.com/xukejing/NanoPCT4catdnncamera
4 功能验证
先在计算服务器的windows系统下把服务端程序编译出来并运行。我们在手机上显示一张猫咪的照片，然后把照片给P710的摄像头看。服务端捕获P710的网络图像数据，并成功检测到了猫，然后通过UDP协议给P710发回了数据。测试截图如下：
在P710上编译客户端程序并运行。当接收到来自计算服务器检测到猫咪的数据后，P710会打印调试信息显示接收到的字符数组CAT，并把当前的图像保存成文件。
下图是detec文件夹下，P710保存的文件，可以看到照片上确实有猫。
5 小结
今天设计了这个局域网的低延迟的物联网计算方案。该方案其实都是基于最普通最成熟的互联网技术，只是被用在物联网上，所以变成了看似高深的internet of things技术。
这篇文章的重点是在软件开发，而不是在具体的硬件。因为网络技术本身是通用的，并不用局限于linux或windows，也不局限于桌面X86还是嵌入式设备。项目里所使用的硬件设备，桌面台式电脑、P710嵌入式小电脑，只是用来跑程序的载体罢了。(文章出处：电子芯吧客社区)
Leez在商业显示领域提供高性能低功耗的解决方案；在人脸识别领域提供高算力支持；在自助机领域提供多屏互动；配合不同行业特性的SaaS软件平台，打造行业类的解决方案；在边缘计算领域提供AI算力及全面的数据采集能力。
Leez P710充分利用硬件及软件优势，在各个垂直行业领域发挥强悍能力。目前Leez团队正面向全球招募开发者加入栗子板开发计划，与我们一起研发P710在各个领域的场景应用，共谋商机。
有兴趣购买此开发板的朋友，戳下面小程序
182
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
