weixin_46267823的博客

可以看到PPO算法中的策略网络输出的是对应的动作概率，从最后一行代码中可以识别出PPO算法与算法一样，其价值网络仅用来进行价值估计。所以其最后的输出的维度是一维，从可以看出。

本博客代码部分参考了基于值函数的方法（DQN）和基于策略的方法（REINFORCE），其中基于值函数的方法只学习一个价值函数，而基于策略的方法只学习一个策略函数。那么，一个很自然的问题是，有没有什么方法既学习价值函数，又学习策略函数呢？答案就是 Actor-Critic。Actor-Critic 是囊括一系列算法的整体架构，目前很多高效的前沿算法都属于 Actor-Critic 算法。

通过降低每一帧的图片像素和通道（转为灰度图），一反面可以降低经验回放器的内存问题，一方面可以自动过滤掉一些与游戏无关的游戏背景，比如飘动的云。（对于不连续的动作，这两种方法都可行，但如果是连续的动作基于价值的方法是不能用的，我们只能用一个概率分布在连续动作中选择特定的动作）。结合这两种方法建立一种Actor-Critic的方法，基于概率会给出做出的动作，基于价值会对做出的动作的价值二者的综合。一批经验进行批量学习。这样做的好处是能够打破经验之间的相关性，并且允许多次利用相同的经验，从而提高了样本的效率。

主要参考其他参考原理 https://zhuanlan.zhihu.com/p/627448301多头注意力机制 https://zhuanlan.zhihu.com/p/611684065。

好奇心机制的编码器模型return y好奇心机制的正向模型return y好奇心机制的DQN模型return y总结就是，自定义模块总要部分在于__init__()方法与forward()方法return y。

该博客的项目idea由博主提出，具体代码由chatgpt辅助编写。需要注意的是：由于数据权限问题，该代码并没有具体运行，故不能保证不存在bug，只能作为一个项目开发参考方向。

使用PyQt5简单实现了基于YOLOv5的小狗嘴套佩戴检测系统的界面交互系统，文中给出一些实现步骤

网上对GAN模型讲解也不是很形象，因此希望能帮助更多同学理解GAN模型的原理。

本设计主要面向于公共场所宠物狗是否佩戴狗嘴套的自动检测场景，运用了YOLOv5目标检测深度学习框架 。应用场景的相似性，表明可充分利用新冠疫情过后遗留的检测设备，降低普及本应用的社会设备成本。为利用疫情遗留电子设备提供了思路。

本博客适用于使用自己收集的图片数据集，并且使用 labelImg 进行标注，标注格式为yolo_txt 格式的情况。

本项目通过百度爬虫实现对有佩戴狗罩和无配戴狗罩的图片收集，使用tensorflow搭建深度学习网络，获得了精确度Accuray为0.88的图片分类模型。