python prediction machine_Python-OpenCV —— Machine Learning

前几天有同学问我关于物体识别的问题，问我是否能写一篇相关的教程，其实最近有在做这方面的事情，我做的是一个检测指定物体，画出框框出制定物体，并进行测距，具体的应用场景是检测红绿灯，自动通过路口，其中就用到了物体识别，当然还涉及到单目测距之类的知识，这些暂且不表，下次再说。

之前就知道OpenCV有一个专门的Machine Learning库，一直没有机会学习，想着通过这次机会，正好学习一下，没成想，进了一个巨大的坑，因为大家都知道，Python是胶水语言，所以Python-OpenCV的底层也都是C语言写的，而我C语言又比较差，网上的教程有比较少，所以看官方文档的时候真的是一番煎熬，下次有时间还是试一试主流的一下机器学习框架吧，正好做一个对比，看哪一个比较好。

CV.ml介绍

集成了许多优秀的机器学习算法，主要有：

cv2.ml.svm---------------------支持向量机

cv2.ml.knn---------------------K.近邻

cv2.ml.bayesian----------------正态贝叶斯分类器

cv2.ml.em----------------------期望最大化

cv2.ml.boost.tree--------------boost分类器

cv2.ml.tree--------------------决策树分类器

cv2.ml.ann.mlp-----------------感知器神经网络分类器

cv2.ml.cnn---------------------卷积神经网络

cv2.ml.random.trees-----------------随机树分类器

cv2.ml.extremely.randomized.trees---随机森林分类器

cv2.ml.gradient.boosting.trees------梯度boost分类器

具体的功能我就不一一介绍了，大家有兴趣的可以参看上面的官方文档，具体说说我用到的cv2.ml.ANN_MLP

cv2.ml.ANN_MLP

最好的学习一个新功能的方式就是去使用它，话不多说，直接上程序

1. 创建训练模型

这个模型是训练通过摄像头获取到的照片，来判断应该前进的方向，算是智能驾驶的一部分。

import cv2

model = cv2.ml.ANN_MLP_create()#建立模型

model.setActivationFunction(cv2.ml.ANN_MLP_SIGMOID_SYM)#设置激活函数为SIGMOID，其实就这一个可以选

model.setLayerSizes(np.int32([38400,32,4]))#设置层数，输入38400层(像素320*240)，输出层4(上下左右四个方向)，以及中间层32

model.setTermCriteria(( cv2.TERM_CRITERIA_COUNT | cv2.TERM_CRITERIA_EPS, 500, 0.0001 ))#设置终止条件

model.setTrainMethod(cv2.ml.ANN_MLP_BACKPROP)#设置训练方式为反向传播

model.setBackpropWeightScale(0.001) #设置反向传播中的一些参数

model.setBackpropMomentumScale(0.0) #设置反向传播中的一些参数

2.开始训练模型

载入数据

训练要有数据，数据是我之前拍好的，拍的时候获取两个参数，一是拍到的照片，二是拍照片的时候的前进方向，以此来进行训练，将拍好的照片以npz格式保存，然后进行读取。

import numpy as np

import glob

# load training data

image_array = np.zeros((1, 38400))

label_array = np.zeros((1, 4), 'float')

training_data = glob.glob('training_data/*.npz')

#开始一个个读取

for single_npz in training_data:

with np.load(single_npz) as data:

train_temp = data['train']#拍到的照片

train_labels_temp = data['train_labels']#照片对应的标签

image_array = np.vstack((image_array, train_temp))

label_array = np.vstack((label_array, train_labels_temp))

X = image_array[1:, :]

Y = label_array[1:, :]

数据分类

将数据按照一定的比例分为测试集和训练集，比例大概为2:8

from sklearn.model_selection import train_test_split

train, test, train_labels, test_labels = train_test_split(X, y, test_size=0.2)

开始训练

records = []

#建立一个列表，进行照片和标签的一一对应

for x in range(0, len(train)):

records.append(record(train[x], train_labels[x]))

#训练两个epoch

EPOCHS = 2

for e in range(0, EPOCHS):

print("Epoch %d:" % e)

for t, c in records:

#开始训练，cv2.ml.ROW_SAMPLE代表每一行是一个样本

num_iter = model.train(t, cv2.ml.ROW_SAMPLE, c)

3. 保存训练结果

# train data

ret_0, resp_0 = model.predict(train)

prediction_0 = resp_0.argmax(-1)

true_labels_0 = train_labels.argmax(-1)

train_rate = np.mean(prediction_0 == true_labels_0)

print('Train accuracy: ', "{0:.2f}%".format(train_rate * 100))

# test data

ret_1, resp_1 = model.predict(test)

prediction_1 = resp_1.argmax(-1)

true_labels_1 = test_labels.argmax(-1)

test_rate = np.mean(prediction_1 == true_labels_1)

print('Test accuracy: ', "{0:.2f}%".format(test_rate * 100))

# save model

model.save('mlp_xml/mlp.xml')

4. 模型的识别应用

#构建模型网络，一会进行调用

class NeuralNetwork(object):

def __init__(self, file_path):

self.model = cv2.ml.ANN_MLP_load(file_path)#载入训练好的模型

#预测拍的照片给出标签值

def predict(self, samples):

ret, resp = self.model.predict(samples)

return resp.argmax(-1)

下面进行调用，因为调用需要照片，因此我把它放在了另一个接收照片的类里面，照片的传递也可以写一篇教程，这次先不说

class VideoStream(object):

def __init__(self):

self.ct_socket = socket.socket()

self.ct_socket.bind(('0.0.0.0',collect_id))

self.ct_socket.listen(5)

self.connection = self.ct_socket.accept()[0].makefile('rb')

# 模型实例化，载入训练好的文件

self.model = NeuralNetwork('mlp_xml/mlp.xml')

def handle(self):

global prediction

stream_bytes = b' '

try:

while True:

stream_bytes += self.connection.read(1024)

first = stream_bytes.find(b'\xff\xd8')

last = stream_bytes.find(b'\xff\xd9')

if first != -1 and last != -1:

jpg = stream_bytes[first:last+2]

stream_bytes = stream_bytes[last+2:]

image = cv2.imdecode(np.fromstring(jpg, dtype=np.uint8), cv2.IMREAD_UNCHANGED)

print('接受照片中')

prediction = self.model.predict(image)

print(prediction)#这个输出的值就是检测过的标签，然后通过判断这个标签是什么，就可以执行下面的操作了。