使用kinect2.0做动作识别和重量颜色识别

在抓取杠铃的过程中，杠铃的颜色是固定的，我们可以使用颜色信息识别出我们杠铃片的重量，具体做法是，利用手抓取横杆的信息获取到手的骨骼关键点的深度值信息，然后利用距离信息做x,y,z方向上的点云滤除，滤除完以后的图片映射回彩色图如图所示：

这时候我们再利用opencv做图像的腐蚀运算，然后提取blob信息，分割，提取最大轮廓，分离出杠铃。再把RGB图像转化为HSV图像，做各个色彩通道的分离，色彩通道分离的python代码在这里：

import cv2
import numpy as np
# 滑动条的回调函数，获取滑动条位置处的值
def empty(a):
    h_min = cv2.getTrackbarPos("Hue Min","TrackBars")
    h_max = cv2.getTrackbarPos("Hue Max", "TrackBars")
    s_min = cv2.getTrackbarPos("Sat Min", "TrackBars")
    s_max = cv2.getTrackbarPos("Sat Max", "TrackBars")
    v_min = cv2.getTrackbarPos("Val Min", "TrackBars")
    v_max = cv2.getTrackbarPos("Val Max", "TrackBars")
    print(h_min, h_max, s_min, s_max, v_min, v_max)
    return h_min, h_max, s_min, s_max, v_min, v_max

path = './0123_1.jpg'
# 创建一个窗口，放置6个滑动条
cv2.namedWindow("TrackBars")
cv2.resizeWindow("TrackBars",640,240)
cv2.createTrackbar("Hue Min","TrackBars",0,255,empty)
cv2.createTrackbar("Hue Max","TrackBars",19,255,empty)
cv2.createTrackbar("Sat Min","TrackBars",110,255,empty)
cv2.createTrackbar("Sat Max","TrackBars",240,255,empty)
cv2.createTrackbar("Val Min","TrackBars",153,255,empty)
cv2.createTrackbar("Val Max","TrackBars",255,255,empty)

while True:
    img = cv2.imread(path)
    img=cv2.resize(img,(int(img.shape[1]/2),int(img.shape[0]/2)))
    imgHSV = cv2.cvtColor(img,cv2.COLOR_BGR2HSV)
    # 调用回调函数，获取滑动条的值
    h_min,h_max,s_min,s_max,v_min,v_max = empty(0)
    lower = np.array([h_min,s_min,v_min])
    upper = np.array([h_max,s_max,v_max])
    # 获得指定颜色范围内的掩码
    mask = cv2.inRange(imgHSV,lower,upper)
    # 对原图图像进行按位与的操作，掩码区域保留
    imgResult = cv2.bitwise_and(img,img,mask=mask)

    cv2.imshow("Mask", mask)
    cv2.imshow("Result", imgResult)

    cv2.waitKey(1)

我们利用滑块对于色彩图像可以单独抽离每一个杠铃片的颜色，然后利用杠铃片颜色的pca朝向信息，从而提取出杠铃片的重量。
目前这套算法杠铃片的颜色识别准确率在光照良好条件下可以达到99%以上，但是缺点容易受到光照的干扰，如果逆光或者光照较暗准确率就会比较低