sxj731533730

搭建仿真转换模型环境，主要python版本和我下载的rknn2的版本。截取shape节点，输出模型。so库也要对应转模型的whl。其中安装的whl版本。

一、 我们先刷个刷成linux系统，测试比较方便，虽然window+python代码也可以开发，但是这不是为了获奖吗，搞点难度的ubuntu+c++推理，同时还为了测试灰仔的ncnn吗，勉为其难，把正版window 系统刷掉吧，哈哈哈。基本思想：收到intel的开发板-小挪吒，正好手中也有oak相机，反正都是openvino一套玩意，进行评测一下，竟然默认是个window系统，哈哈。首先在自己的宿主机器上ubuntu20.04配置环境，转一下oak所需要的模型，设备的系统openvino版本太高。

基本思想：使用csi摄像头进行画面取帧，使用v7进行目标检测，使用rtmpose进行关键点检测。刷机手册参考官网、搜素ip方法。三、测试csi摄像头。

第一步：系统刷机，参考官方吧，懒得刷机了，参考官方手册即可链接：https://pan.baidu.com/s/1umXM3ir-5adfjC3ZyjjJ4A?三、先测试一下环境，是否可用，ide使用clion，需要添加环境变量在clion中，测试我上一篇对应博客和模型，模型我共享在百度云盘了。二、因为我习惯了华为官方的aclite库，我发现官方给我刷的系统没有，那我自己编译一下吧。连接账号 root 密码：Mind@123。然后就参考我这篇博客修改和编译即可。使用python搜索同一网段的ip。

基本思想：需要使用linux系统调用alliedvisio工业相机完成业务，这里只做驱动相机调用，具体不涉及业务开发。一、先用软件调用一下。

二、然后测试python的oak代码,c++我就不测试了，这里附录一个python搜索本地ip的地址，可以用于c++ 的oak设置开发。一、首先购买双CPE设备，简称网桥，进行设置，设置方式采用网线直连的方式进行ip设置，保证其主网桥和子网桥位于局域网属于同一网段内。基本思想：需要部署测试CPE+POE+OAK设备，仅此而已。三、测试python的oak代码。

基本思想：将oak深度相机与atlas 200dk A2进行结合，测试其dvpp的编解码能力。

基本思想：刚买了一块海康工业相机，需要在jetson上调用使用，所以记录一下配置方法，然后结合开发使用。一、先使用window软件调用一下，是否可用。

基本思想：需求部署yolov8目标检测和旋转目标检测算法部署atlas 200dk 开发板上。配置pycharm professional。使用huawei板子进行转换模型。

基本思想：适配关键点模型到华为昇腾芯片上，同时对针对性的动作做出响应。

基本思想：获得一块新的rk3588芯片，使用rk3588芯片做个简单的目标检测，调用usb摄像头，然后进行gpio引脚调用，然后没了。一、首先进行刷机，参考手册，不做详细介绍，未使用emc刷机。刷机完成：orangepi/orangepi登陆。然后配置环境，安装必要的库。

基本思想：只是单纯记录一下官方的例子，具体信息看官方手册，本菜也是参考官方手册学习。

一：需要将本机设置固定ip，主要是因为其板子的固定ip为192.168.150.1 我设置为本机固定的ip为。然后进行ssh连接，这里我的笔记本使用的wifi上网，并不影响笔记本上网。基本思想：需要适配算能盒子SE5开发，这里记录记录一下。

基本思想：适配mmpose模型，记录一下流水帐，环境配置和模型来自，请查看参考链接。

四、pycharm 专业版进行远程debug调试和转yolov7的模型，yolov7使用官方源码直接转onnx即可，batchsize=1,然后配置pycharm 专业版的解释器。二、刷机显示系统正常运行，刷机尝试使用linux刷机貌似不成功，的使用window系统进行刷机，其次，需要等待至少2-3分钟，官方给的回复是有固件升级书。测试c++代码，使用官方的demo生成的封装so库，然后自己用代码测试。在这里需要注意，查看，将其中的sh内容拷贝出来，六、测试一下batchsize=3的华为昇腾推理。

基本思想：python转换脚本安装，和其它环境配置参考之前，主要想搞一版本batchsize=3的c++ demo;一、转模型yolov5 batchsize=1 使用yolov5-5.0版本修改一点点参考上面链接。上面小板子是rk3399pro 大板子是rk3588,yolov5的使用参考链接。四、测试rk3588,官方的sdk ，转onnx=3。二、batchsize=3测试 ,参考。c++测试和上面雷同，

基本思想：从某途径获得了一块rk3588 pci的板块，逐记录和测试一番，下图分别为主机箱，显卡所在的pci卡槽、和新版rk3588 pci板卡、主机配置,这里以yolov7的官方模型为基准，进行测试其板卡的性能。一、下载rknn-toolkit2。二、下载yolov7的源码和模型。

基本思想：纯粹为了记录，做个笔记。

基本思想：简单记录一下训练过程，数据集在coco基础上进行，进行筛选出杯子的数据集，然后进行训练，比较简单， 从coco数据集中筛选出杯子的数据集，然后在labelme数据集的基础上，转成paddleseg数据集，然后训练即可，生成的标签在代码中添加相应的数据格式，贴到txt即可。得到杯子数据集：链接: https://pan.baidu.com/s/1DWf7d1xWAscAKmIvNYJ9Rw?二、配置文件使用修改pp_liteseg_stdc1_camvid_960x720_10k.yml。

基本思想：需要使用独立模块代码去实现自己的逻辑功能，所以在基于官方源码基础上，和参考附录几个官方链接，搞出一版rk3588编码测试和解码测试demo。一、先看工程rk_yuv_mpp_h264编码demo。测试结果rk3588测试结果。

基本思想：喜提一块爱芯元智芯片，记录一下开发过程。

这里使用rk3588和oak相结合，存在两个问题，多个usb电流都在1a内，只有一个type-c转usb的电流在2a内，oak的基础电流要求900ma,峰值电流要求在1.5a左右，这就限制了oak的目标检测和推理数据传输，所以需要使用编码方式压缩数据量传输，即使使用usb的线进行数据传输，这个实验使用usb3.0的接口,但是由于电流无法满足要求，只能让oak限制使用2.0的速率dai::Device device(pipeline,true);2)修改第一版使用硬件解码h264然后显示，测试帧率。

一、刷机固件G:\QIHUA-X1126主板\刷机固件\221117\x1126_x1109_debian10_zs101nn3101j_210705。基本思想：手中有一个成都启划rv1126开发板，进行模型训练和开发。

基本思想: 记录一下rk3399 pro刷机过程,在公司刷机造成了屏幕卡在firefly画面不动了，甚是焦虑，拿回家拯救搬砖。二、另一种方法刷机，在已经安装驱动的基础上，使用RKDevTool工具。2）、然后插上内存卡，重启，重启成功之后，会提醒你拔掉sd卡。1）菜鸡使用sd卡刷机的。一、下载官方资料和固件。

基本思想：帮助好友部署一个人脸检测模型，也是自己业务需求，部分代码来自好友陈同学，自己改了改c++的代码可以部署rk3399pro上了，其它资料见附录吧。链接: https://pan.baidu.com/s/1MSZG-XeIFmBfYJwUMThzDQ?pwd=1ujq 提取码: 1ujq。一、测试mnn效果,其中mnn直接搬运了大佬参考附录一。二、测试rknn效果。

基本思想：需要一个快的实例分割模型，由于需要配置oak使用，所以就记录和实现一下微软社区提供的思路，去部署PaddleSeg的轻量级(实际是语义)分割模型。一、需要本机配置好　openvion和cuda cudnn tensorRT环境，参考附录。挑选这个模型的主要原因是官方提示最快的模型。配置环境自己搞一下，测试图片。

基本思想：继续学习OAK的节点函数。

基本思想：幸亏会一点点ffmpeg的视频编解码进行了视频播放,本片博客教你如何直接解码h265进行视频播放，还得立下flag　要学如何硬解码。

1.现在智能手机上采用的陀螺仪是MEMS（微机电）陀螺仪，手机中陀螺仪的运用首先用在游戏的控制上，相比传统重力感应器只能感应左右两个维度的（多轴的重力感应是可以检测到物体竖直方向的转动，但角度难判断）变化，陀螺仪通过对偏转、倾斜等动作角速度的测量，可以实现用手控制游戏主角的视野和方向。在我们按下快门时，陀螺仪测量出手机翻转的角度，将手抖产生的偏差反馈给图像处理器，用计算出的结果控制补偿镜片组，对镜头的抖动方向以及位移作出补偿，实现更清晰的拍照效果。这就是手机陀螺仪的作用。陀螺仪的作用是什么？

基本思想：继续学习oak的例子和硬件模块。

基本思想：继续学习oak的接口函数，具体参考官方demo，自己坐下笔记记录一下。深度图（添加了暖色）测试图片　左右纠正图。

基本思想：记录学习oak基本使用。一、读取左相机的灰度图。

基本思想：需要一个串口接受程序，去接收语音唤醒模块的的唤醒数据，逐写了个demo。

基本思想：手中存在一个Kinect的深度相机，需求测试被检测的目标的深度图，逐开始开发，好东西啊，我也想要个，好东西。三、贴一个测试深度图的代码vs2022目录，需要引入一下opencv的库。测试结果，以图标在目标图上划定矩形区域，输出距离值。

一、/home/ubuntu/depthai-core/examples/SpatialDetection/spatial_location_calculator.cpp官方提供了一个深度图画面的测距输出，但是缺乏彩色图输出，逐修改其demo，完成深度图和彩色图同时进行显示距离信息。这样就很容易进行替代的相机的深度学习算法处理，只使用相机的距离信息，深度学习推理可以置换用开发板调试。官方代码只有深度图，没有彩色图，参考手册，将彩色图添加了上去。基本思想：修改官方的demo，完成固定点的测距功能。

３)python推理代码，因为缺少检测代码，所以添加一个固定检测坐标就好，后期套用yolov5即可。该模型作为基础模型，毕竟已经可以部署ncnn和mnn平台上了，且训练比较方便。基本思想：需要一个自训练的关键点检测模型部署到rk的平台上，逐开始折腾。配置环境和进行模型转换。2)转换模型，转换代码。

系统用的：ROC-RK3588S-PC-RTLINUX_Ubuntu20.04-Gnome-r21197_v1.0.1b_220922.7z 刷机参考这篇博客。1）下载rknn-toolkit配置python的rknnlite环境。基本思想：喜得一个RK3588开发板，利用它完成目标检测和TCP通信。三、配置环境，测试py调用npu和c++调用npu。二、在window11上，搜索ip。然后使用wsl连接上。

基本思想：需要一个人头检测和手机检测模型，然后部署硬件开发板上，然后开始搜集数据集和训练。

基本思想：手中有个OAK摄像头，一直想移植一下官方的deeplabv3的模型，逐记录一下训练过程和模型转换，从pb转模型到openvino，然后在移植oak摄像头。

下载官方源码yolov5进行测试,注意要下载到work目录下，否则下次登录，文件不复存在。基本思想：有机会使用华为ModelArts云服务，做一下尝试，逐记录一下。第一步：登录帐号，查看一下服务配置。