主要参考Yolov5自定义图片训练测试及模型调优（详细过程）和记录历经三天将自己的yolov5模型部署到Android安卓手机进行部署复现，此处针对遇到的问题进行记录，分为部署思路和遇到的问题以及解决
一、部署思路
获取图片数据集——训练模型——模型导出为onnx格式——ubuntu环境中实现onnx转换为ncnn格式——将ncnn的模型权重和参数文件复制到ncnn-android-yolov5文件中，并使用android studio编译工程，安装到手机上
1.训练模型
1）数据集获取：采用Le2i视频数据集，通过python脚本方式将跌倒帧图片采集
Le2i：
图片提取：
源码：
import cv2
import os
import numpy as np
import pandas
""" 整体功能是实现视频按照对应txt文件中前两行帧数决定具体选择哪些帧作为图片
（我选择跌倒开始帧、跌倒开始帧加10、跌倒结束帧、跌倒结束帧加10） ，图片存放在递增的文件夹中"""
#该函数实现视频转换为图片
def video_to_frames(video_path,output_path):
cap=cv2.VideoCapture(video_path)
count=0
numForname=1
savedPic=read_tablemethod(txtPath)
#判断视频是否打开，是则返回true
while cap.isOpened():
#ret是标志位，判断视频帧是否读到frame中，是则返回true
ret,frame=cap.read()
if ret:
#此处判断视频帧是否是我设定想取得的帧编号，是则生成对应的jpg并count加一，不是则count加一去找下一个
if count in (savedPic[0],savedPic[0]+10,savedPic[1],savedPic[1]+10):
#这个try没有太大作用，此处通过join实现路径拼接即imwrite（路径，帧），而他的路径又通过join函数拼接
try:
cv2.imwrite(os.path.join(output_path,f"0{k:02d}frame{numForname:04d}.jpg"),frame)
numForname +=1
except:
# os.makedirs("./fall-dataset/pic/03")
print("输出目录不存在")
count +=1
else :
count +=1
else:
break
cap.release()
#该方法目的在于读取txt文件前两行的内容，进而确定需要截取的帧
def read_tablemethod(filepath):
#panda的读取文件获得的是一个表，属性是DataFrame，所以需要对其进行格式转换
data=pandas.read_table(filepath,header=None,delim_whitespace=True)
#我这里先给他取出来成为一维向量，然后再进行格式转换为int
firstTwoFps=np.array([data.at[0,0],data.at[1,0]]).astype(int)
return firstTwoFps
""" def file_remove():
savedPic=read_tablemethod("./FallDataset/Coffee_room_01/Annotation_files/video (1).txt")
i=0
match filename:
path="./fall-dataset/pic/"+file_name+".jpg"
os.remove(path) """
if __name__=="__main__":
""" data=loadTxtMethod("./FallDataset/Coffee_room_01/Annotation_files/video (1).txt")
print(data) """
#获取文件夹内视频文件的个数，看需要更改多少次文件路径
files=os.listdir("./FallDataset/Home_01/Videos")
num_videos=len(files)
k=1
for k in range(1,num_videos+1):
#每次更改txt和video的文件路径，通过makedirs命令创建存储图片的文件夹
txtPath="./FallDataset/Home_01/Annotation_files/video ("+str(k)+").txt"
videoPath="./FallDataset/Home_01/Videos/video ("+str(k)+").avi"
picPath="./fall-dataset/pic/0"+str(k)
os.makedirs(picPath)
#将视频转换为图片
video_to_frames(videoPath,picPath)
2）图片标注：采取Yolov5自定义图片训练测试及模型调优（详细过程） 的方法，使用Maksense.Ai进行图片上传及标注，具体流程大佬的文章已阐述，此处补充一下遇到的问题
问题：网站一次只能上传一张图片，对于大量图片的上传有点麻烦
解决方法：考虑使用selenium实现自动化上传
源码：
from selenium import webdriver
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.common.by import By
import time
from selenium.webdriver.common.action_chains import ActionChains
import os
""" 标注网站无法上传所有图片，所以提出这个脚本进行自动化处理，主要目的是实现图片批量化上传 """
url="https://www.makesense.ai/"
driver=webdriver.Chrome()
def login():
#打开网页并进入
driver.get(url)
driver.find_element(By.XPATH,"/html/body/div/div/div/div[4]/div[4]").click()
driver.fullscreen_window()
time.sleep(1)
#此处通过input文件属性上传一张图片，以开始图像标注
driver.find_element_by_xpath("//input[@type='file']").send_keys('C:/Users/niejl/Desktop/yolov5/fall-dataset/pic/Home_01/01/01frame0001.jpg')
time.sleep(1)
driver.find_element_by_xpath("/html/body/div[1]/div/div/div[4]/div[2]/div[2]/div[1]").click()
time.sleep(1)
driver.find_element_by_xpath("/html/body/div/div/div[2]/div/div[3]/div[2]").click()
def fileUpLoad():
#上传图片的逻辑
time.sleep(1)
i=1
#输入需要上传的图片目录，通过for循环遍历
files=os.listdir("C:/Users/niejl/Desktop/yolov5/fall-dataset/pic/Home_01")
num=len(files)
for i in range(1,num+1):
picPath=f"C:/Users/niejl/Desktop/yolov5/fall-dataset/pic/Home_01/0{i}/0{i}frame0004.jpg"
#点击ACTION按钮
driver.find_element_by_xpath("/html/body/div/div/div/div[1]/div[2]/div[2]/div/div[1]").click()
#点击上传图片
driver.find_element_by_xpath("/html/body/div/div/div/div[1]/div[2]/div[2]/div/div[3]/div[2]").click()
#默认上传0004结尾的图片，也就是一定跌倒的图片，如果没有，则上传0002的图片
try:
driver.find_element_by_xpath("//input[@type='file']").send_keys(picPath)
except:
picPath=f"C:/Users/niejl/Desktop/yolov5/fall-dataset/pic/Home_01/0{i}/0{i}frame0002.jpg"
driver.find_element_by_xpath("//input[@type='file']").send_keys(picPath)
#选择上传
driver.find_element_by_xpath("/html/body/div/div/div[2]/div/div[3]/div[2]").click()
if __name__=="__main__":
login()
fileUpLoad()3）模型训练：
方法同：Yolov5自定义图片训练测试及模型调优（详细过程）
更改配置文件并进行训练
python train.py --cfg models/yolov5s_fall.yaml --data data/coco128_fall.yaml --weights yolov5s.pt --epoch 150 --batch-size 32
得到对应权重文件：
训练问题：
- Numpy版本问题（我的是1.26.2，pip uninstall numpy；pip install numpy==1.22.4 解决）
-
xml转txt标注时出现此问题，标注文件格式不对，用原生txt的标注文件可以成功训练
问题代码：
更改后解决问题：
xml转txt源码：
import os
import xml.etree.ElementTree as ET
#是否需要转换，如果不需要转换的话记得配置好txt文件和images文件到newdir和picdir，然后就可以开始分割
beginXml2txt=1
#在目标目录的下一级创建dataset,并自动分割成yolov5所需训练集
targetdir='C:/Users/niejl/Desktop/yolov5/data/pp_fall'
#待转换数据集目录，转换后的txt文件生成在该路径下的txt文件夹中，同时更改该路径下图片文件夹中的图片
rawdir='C:/Users/niejl/Desktop/yolov5/data/pp_fall'
#待转换xml文件目录，根据具体标注文件夹的名称进行更改
dirpath=f'{rawdir}/Annotations'
#对应图片目录，程序会将标注文件里没有宽度标注的图片自动删除，所以需要提供对应的图片目录
picdir=f'{rawdir}/images'
#输出txt文件目录
newdir=f'{rawdir}/txt'
#对应标签
dict_info={'fall':0}
images_train=f'{targetdir}/dataset/images/train'
images_test=f'{targetdir}/dataset/images/test'
images_val=f'{targetdir}/dataset/images/val'
labels_train=f'{targetdir}/dataset/labels/train'
labels_test=f'{targetdir}/dataset/labels/test'
labels_val=f'{targetdir}/dataset/labels/val'
def xml2txt():
if not os.path.exists(newdir):
os.makedirs(newdir)
for fp in os.listdir(dirpath):
if fp.endswith('.xml'):
root=ET.parse(os.path.join(dirpath,fp)).getroot()
xmin,ymin,xmax,ymax=0,0,0,0
sz=root.find('size')
width=float(sz[0].text)
height=float(sz[1].text)
filename=root.find('filename').text
for child in root.findall('object'):
sub=child.find('bndbox')
label=child.find('name').text
label_=dict_info.get(label)
xmin=float(sub[0].text)
ymin=float(sub[1].text)
xmax=float(sub[2].text)
ymax=float(sub[3].text)
try:
x_center=(xmin+xmax)/(2*width)
x_center='%.6f' % x_center
y_center=(ymin+ymax)/(2*height)
y_center='%.6f' % y_center
w=(xmax-xmin)/width
w='%.6f' % w
h=(ymax-ymin)/height
h='%.6f' % h
with open(os.path.join(newdir,fp.split('.xml')[0]+'.txt'),'a+')as f:
f.write(''.join([str(label_),' ',str(x_center),' ',str(y_center),' ',str(w),' ',str(h)+'\n']))
#这里加一个除以零的错误，因为确实有些标注数据给的宽度是0
except ZeroDivisionError:
print(filename,'的width有问题')
#删除对应的图片
os.remove(os.path.join(picdir,filename))
break
def datasetInit():
if not os.path.exists(images_train):
os.makedirs(images_train)
if not os.path.exists(images_test):
os.makedirs(images_test)
if not os.path.exists(images_val):
os.makedirs(images_val)
if not os.path.exists(labels_train):
os.makedirs(labels_train)
if not os.path.exists(labels_test):
os.makedirs(labels_test)
if not os.path.exists(labels_val):
os.makedirs(labels_val)
def datasetSplit():
datasetInit()
divs=[8,1,1]
k=0
num=len(os.listdir(newdir))
lab_target=[labels_train,labels_test,labels_val]
pic_target=[images_train,images_test,images_val]
for lb_t in lab_target:
for div in divs:
i=0
for raw_txt in os.listdir(newdir):
i+=1
filename=raw_txt.split('.txt')[0]
os.rename(os.path.join(newdir,raw_txt),os.path.join(lab_target[k],raw_txt))
os.rename(os.path.join(picdir,filename+".jpg"),os.path.join(pic_target[k],filename+".jpg"))
if i==int((num*divs[k])/(divs[0]+divs[1]+divs[2])):
if k==2:
break
else:
k+=1
break
if __name__=="__main__":
if beginXml2txt :
xml2txt()
datasetSplit()
print('ok')2.导出模型
并且通过export.py命令导出onnx文件（原文章中没有include onnx engine，可能导致无法导出）
添加这个命令后可以正常导出onnx格式文件
python export.py --weights runs/train/exp2/weights/best.pt --include onnx engine简化onnx文件
python -m onnxsim best.onnx best-sim.onnx将这两个文件打包备用
3.ubuntu环境中进行onnx到ncnn格式转换
过程同记录历经三天将自己的yolov5模型部署到Android安卓手机_yolov5部署到手机-CSDN博客
部署环境过程中遇到安装 protobuf 依赖库不成功的问题，主要由于没有./autogen.sh所以执行不成功，此处百度解决方案ubuntu 20.04安装Protobuf_五班图20.04安装goolgle/protocbuf-CSDN博客并解决问题
导出两个文件，并打包备用
4.Android Studio进行工程编译并安装手机上
此处问题较多，主要是gradle和java版本不匹配的问题，调试后尝试出来一种搭配并成功编译安装
运行结果：
9778
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
