基于mediapipe的动作捕捉和Unity的球棍模型同步

所需环境

这是我所使用的环境
python3.9 安装mediapipe和opencv-python包
python和Unity通信使用socket
Unity2021.3

python端

如何安装那两个包我就不说了，大家有不明白可以去百度
mediapipe和opencv-python

1.把我们要使用的mediapipe的功能封装成一个module
这个module返回一个列表，列表中存放mediapipe识别到的特征点

import cv2
import mediapipe as mp
import time


class poseDetector():
    def __init__(self, mode=False, upBody=False, smooth=True, detectionCon=0.5, trackCon=0.5):
        self.mode = mode
        self.upBody = upBody
        self.smooth = smooth
        self.detectionCon = detectionCon
        self.trackCon = trackCon

        self.mpDraw = mp.solutions.drawing_utils
        self.mpPose = mp.solutions.pose
        self.pose = self.mpPose.Pose(self.mode, self.upBody, self.smooth, False, True, # 这里的False 和True为默认
                                     self.detectionCon, self.trackCon)  # pose对象 1、是否检测静态图片，2、姿态模型的复杂度，3、结果看起来平滑（用于video有效），4、是否分割，5、减少抖动，6、检测阈值，7、跟踪阈值
        '''
        STATIC_IMAGE_MODE：如果设置为 false，该解决方案会将输入图像视为视频流。它将尝试在第一张图像中检测最突出的人，并在成功检测后进一步定位姿势地标。在随后的图像中，它只是简单地跟踪那些地标，而不会调用另一个检测，直到它失去跟踪，以减少计算和延迟。如果设置为 true，则人员检测会运行每个输入图像，非常适合处理一批静态的、可能不相关的图像。默认为false。
        MODEL_COMPLEXITY：姿势地标模型的复杂度：0、1 或 2。地标准确度和推理延迟通常随着模型复杂度的增加而增加。默认为 1。
        SMOOTH_LANDMARKS：如果设置为true，解决方案过滤不同的输入图像上的姿势地标以减少抖动，但如果static_image_mode也设置为true则忽略。默认为true。
        UPPER_BODY_ONLY：是要追踪33个地标的全部姿势地标还是只有25个上半身的姿势地标。
        ENABLE_SEGMENTATION：如果设置为 true，除了姿势地标之外，该解决方案还会生成分割掩码。默认为false。
        SMOOTH_SEGMENTATION：如果设置为true，解决方案过滤不同的输入图像上的分割掩码以减少抖动，但如果 enable_segmentation设置为false或者static_image_mode设置为true则忽略。默认为true。
        MIN_DETECTION_CONFIDENCE：来自人员检测模型的最小置信值 ([0.0, 1.0])，用于将检测视为成功。默认为 0.5。
        MIN_TRACKING_CONFIDENCE：来自地标跟踪模型的最小置信值 ([0.0, 1.0])，用于将被视为成功跟踪的姿势地标，否则将在下一个输入图像上自动调用人物检测。将其设置为更高的值可以提高解决方案的稳健性，但代价是更高的延迟。如果 static_image_mode 为 true，则忽略，人员检测在每个图像上运行。默认为 0.5。
        '''
    def findPose(self, img, draw=True):
        imgRGB = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)  # 将BGR格式转换成灰度图片
        self.results = self.pose.process(imgRGB)  # 处理 RGB 图像并返回检测到的最突出人物的姿势特征点。
        if self.results.pose_landmarks:
            if draw:
                self.mpDraw.draw_landmarks(img, self.results.pose_landmarks, self.mpPose.POSE_CONNECTIONS)
                # results.pose_landmarks画点 mpPose.POSE_CONNECTIONS连线
        return img


    def findPosition(self, img, draw = True):
    #print(results.pose_landmarks)
        lmList = []
        if self.results.pose_landmarks:
            for id, lm in enumerate(self.results.pose_landmarks.landmark):  # enumerate()函数用于将一个可遍历的数据对象(如列表、元组或字符串)组合为一个索引序列，同时列出数据和数据下标
                h, w, c = img.shape  # 返回图片的(高,宽,位深)

                cx, cy, cz = int(lm.x * w), int(lm.y * h), int(lm.z * w)  # lm.x  lm.y是比例  乘上总长度就是像素点位置
                lmList.append([id, cx, cy, cz])
                if draw:
                    cv2.circle(img, (cx, cy), 5, (255, 0, 0), cv2.FILLED)  # 画蓝色圆圈
        return lmList


def main():
    # cap = cv2.VideoCapture(0)  # 调用电脑摄像头
    # cap = cv2.VideoCapture('video/2.mp4')  # 视频
    # cap = cv2.VideoCapture('video/3.png')
    cap = cv2.VideoCapture('video/ASOUL.mp4')
    pTime = 0

    detector = poseDetector()
    while True:
        success, img = cap.read()  # 第一个参数代表有没有读取到图片True/False 第二个参数frame表示截取到一帧的图片  读进来直接是BGR 格式数据格式
        img = detector.findPose(img)
        lmList = detector.findPosition(img)
        if len(lmList) != 0:
            print(lmList)  # print(lmList[n]) 可以打印第n个
        # 计算帧率
        cTime = time.time()
        fps = 1 / (cTime - pTime)
        pTime = cTime

        cv2.putText(img, str(int(fps)), (70, 50), cv2.FONT_HERSHEY_PLAIN, 3,
                    (255, 0, 0), 3)  # 图片上添加文字  参数：图片 要添加的文字 文字添加到图片上的位置 字体的类型 字体大小 字体颜色 字体粗细

        cv2.imshow("Image", img)  # 显示图片

        cv2.waitKey(3)  # 等待按键


if __name__ == "__main__":
    main()

2.把一帧图像的33个特征点的信息变成一个字符串，以 “，”隔开
通过socket构建一个客户端client，把包含特征点信息的字符串发送到unity的服务端

import cv2
import time
import PoseModule as pm
import socket

pTime = 0

def computeFPS():
    global  pTime
    cTime = time.time()
    fps = 1 / (cTime - pTime)
    pTime = cTime
    cv2.putText(img, str(int(fps)), (70, 50), cv2.FONT_HERSHEY_PLAIN, 3,
                (255, 0, 0), 3)  # 图片上添加文字  参数：图片 要添加的文字 文字添加到图片上的位置 字体的类型 字体大小 字体颜色 字体粗细


# cap = cv2.VideoCapture(0)  # 调用电脑摄像头
cap = cv2.VideoCapture('video/2.mp4')  # 视频


# 构建一个实例，去连接服务端的监听端口。
client = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
client.connect(('127.0.0.1', 1234))
#  msg=client.recv(1024)
#  print('New message from server: %s' % msg.decode('utf-8'))

detector = pm.poseDetector()
strdata = ""  # 定义字符串变量
while True:
    success, img = cap.read()  # 第一个参数代表有没有读取到图片True/False 第二个参数frame表示截取到一帧的图片  读进来直接是BGR 格式数据格式
    img = detector.findPose(img)
    lmList = detector.findPosition(img)
    # if len(lmList) != 0:
    #     print(lmList)
    if len(lmList) != 0:
        for data in lmList:
            print(data)  # print(lmList[n]) 可以打印第n个
            for i in range(1, 4):
                if i == 2:
                    strdata = strdata + str(img.shape[0] - data[i]) + ','
                else:
                    strdata = strdata + str(data[i]) + ','
        print(strdata)
        client.send(strdata.encode('utf-8'))
        strdata = ""

    computeFPS()  # 计算帧率
    cv2.imshow("Image", img)  # 显示图片

    cv2.waitKey(10)  # 等待按键

unity端

1.在场景中构建出人的球棍模型，不需要在意他们的位置，通过代码给他们赋值，场景中的层级结构如图

场景中33个红色的球表示特征点，绿色的线表示骨架

具体需要多少骨架可以自己决定，我没有弄头上的
2.通过socket创建一个服务端（server），接收python客户端传来的特征点坐标数据，赋值给unity场景中的特征点

using System;
using System.Collections;
using System.Collections.Generic;
using System.Net;
using System.Net.Sockets;
using System.Text;
using System.Threading;
using UnityEngine;



public class Server : MonoBehaviour
{
    //public GameObject leftshoulder;
    public GameObject[] Body;
    private static int myProt = 9999;   //端口  
    static Socket serverSocket;
    Thread myThread;
    string str;
    Dictionary<string, Thread> threadDic = new Dictionary<string, Thread>();//存储线程，程序结束后关闭线程
    private void Start()
    {
        //服务器IP地址  ，127.0.0.1 为本机IP地址
        IPAddress ip = IPAddress.Parse("127.0.0.1");
        //IPAddress ip = IPAddress.Any; //本机地址
        Debug.Log(ip.ToString());
        serverSocket = new Socket(AddressFamily.InterNetwork, SocketType.Stream, ProtocolType.Tcp);

        IPEndPoint iPEndPoint = new IPEndPoint(ip, myProt);
        //serverSocket.Bind(new IPEndPoint(ip, myProt));  //绑定IP地址：端口  
        serverSocket.Bind(iPEndPoint);  //绑定IP地址：端口  
        serverSocket.Listen(10);    //最多10个连接请求  
                                    //Console.WriteLine("creat service {0} success",
                                    //    serverSocket.LocalEndPoint.ToString());

        myThread = new Thread(ListenClientConnect);
        myThread.Start();
        //Console.ReadLine();
        Debug.Log("服务器启动...........");
    }

    public void Update()
    {
        if (str != null)
        {
            Debug.Log(str);//接受的数据
            string[] points = str.Split(',');
            Debug.Log(points.Length);




            for (int i = 0; i <= 32; i++)
            {
                float x = float.Parse(points[0 + (i * 3)]) / 100;
                float y = float.Parse(points[1 + (i * 3)]) / 100;
                float z = float.Parse(points[2 + (i * 3)]) / 300;
                Body[i].transform.localPosition = new Vector3(x, y, z);
            }
        }

    }

    // 监听客户端是否连接  
    private void ListenClientConnect()
    {
        while (true)
        {
            Socket clientSocket = serverSocket.Accept(); //1.创建一个Socket 接收客户端发来的请求信息 没有消息时堵塞
            clientSocket.Send(Encoding.ASCII.GetBytes("Server Say Hello")); //2.向客户端发送 连接成功 消息
            Thread receiveThread = new Thread(ReceiveMessage); //3.为已经连接的客户端创建一个线程 此线程用来处理客户端发送的消息
            receiveThread.Start(clientSocket); //4.开启线程
            //添加到字典中
            string clientIp = ((IPEndPoint)clientSocket.RemoteEndPoint).Address.ToString();
            //Debug.Log( clientSocket.LocalEndPoint.ToString()); //获取ip:端口号
            if (!threadDic.ContainsKey(clientIp))
            {
                threadDic.Add(clientIp, receiveThread);
            }
        }
    }



    private byte[] result = new byte[1024]; //1.存入的byte值 最大数量1024
    //开启线程接收数据 （将Socket作为值传入）
    private void ReceiveMessage(object clientSocket)
    {
        Socket myClientSocket = (Socket)clientSocket; //2.转换传入的客户端Socket
        while (true)
        {
            try
            {
                //接收数据  
                int receiveNumber = myClientSocket.Receive(result); //3.将客户端得到的byte值写入
                //Debug.Log(receiveNumber);//子节数量
                if (receiveNumber > 0)
                {
                    str = Encoding.UTF8.GetString(result, 0, receiveNumber);//将接受的数据存到str变量中
                    // Debug.Log(str);

                }
                else
                {
                    Debug.Log("client： " + ((IPEndPoint)myClientSocket.RemoteEndPoint).Address.ToString() + "断开连接");
                    threadDic[((IPEndPoint)myClientSocket.RemoteEndPoint).Address.ToString()].Abort(); //清除线程
                }
            }
            catch (Exception ex)
            {
                //myClientSocket.Shutdown(SocketShutdown.Both); //出现错误 关闭Socket
                Debug.Log(" 错误信息" + ex); //打印错误信息
                break;
            }
        }
    }

    void OnApplicationQuit()
    {
        //结束线程必须关闭 否则下次开启会出现错误 （如果出现的话 只能重启unity了）
        myThread.Abort();

        //关闭开启的线程
        foreach (string item in threadDic.Keys)
        {
            Debug.Log(item);//de.Key对应于key/value键值对key
            //item.Value.GetType()
            threadDic[item].Abort();
        }
    }

}

3.让骨架连接对应的特征点

using System.Collections;
using System.Collections.Generic;
using UnityEngine;

public class linecode : MonoBehaviour
{
    LineRenderer lineRenderer;
    public Transform oringin;
    public Transform destination;

    // Start is called before the first frame update
    void Start()
    {
        lineRenderer = GetComponent<LineRenderer>();
        lineRenderer.startWidth = 0.1f;
        lineRenderer.endWidth = 0.1f;


    }

    // Update is called once per frame
    void Update()
    {
        lineRenderer.SetPosition(0, oringin.position);
        lineRenderer.SetPosition(1, destination.position);
    }
}

具体场景中的脚本挂载情况可以下载工程查看

效果

资源下载：
链接：https://pan.baidu.com/s/1XBBWV1wCxyW0FyRTOtorkw?pwd=sbyq
提取码：sbyq
参考：https://www.youtube.com/watch?v=BtMs0ysTdkM