星光

相对于DQN输出采取动作的Q值，Policy Gradient网络输出采取动作的概率，根据概率来判断需要采取的动作，并在训练过程不断修正网络，使输出的概率更好的符合最优的采取动作的策略。应用到倒立摆控制，可以通过构建一个前向网络和一个学习策略来实现。

采用DQN（Deep Q-Network）实现对倒立摆（CartPole）对象的控制

倒立摆是强化学习的一个经典模拟对象，通过对倒立摆对象的持续的动作输入，使倒立摆保持在竖立的状态或者倒下。Python提供了一个模拟库（gym）来模拟倒立摆等一些典型的难度控制对象。

ResNet神经网络介绍可以参考如下的链接，是一种非常有效的图像分类识别的模型。[https://blog.csdn.net/qq_45649076/article/details/120494328](https://blog.csdn.net/qq_45649076/article/details/120494328)ResNet网络由残差（Residual）结构的基本模块构成，每一个基本模块包含两个卷积层。基本模块的输入被直接加成到模块的输出。这种设计可以防止网络在深度加大之后所产生的退化的现象

Microsoft COCO（Common Objects in Context）是微软研发维护的一个大型的数据集。包含了30多万张图片和包含91类目标分类。可用于目标识别（Object Detection）、场景感知（Penoptic Segmentation）、语义分割（Stuff Segmentation）、标题生成（Image Captioning）等任务。

PASCAL VOC是一个国际的计算机视觉挑战赛，数据集包含了20个分类的3万多张图片。挑战赛及其数据集基础上涌现不少知名的目标检测模型如R-CNN，YOLO，SSD等。可以通过下载和读取的方法载入PASCAL VOC数据集。

采用VGG网络对CIFAR-10数据集进行分类识别

与MNIST类似，CIFAR-10同样是人工智能学习入门的数据集之一，它包含飞机、汽车、小鸟等10个类别的图片，一共60000张图片，其中训练集占50000张，测试集占10000张。这里采用CNN网络对CIFAR-10数据集进行分类识别。

采用CNN神经网络来进行MNIST数据集的分类识别

在MNIST数据集上构建一个神经网络，进行训练，以达到良好的识别效果

MNIST数据集是人工智能学习入门的数据集，包含了一系列的手写的数字图片。Tensorflow集成了载入数据集的函数，如下。

Jupyter Notebook成为一款非常受欢迎的交互式Python运行环境的软件。通过如下的方法可以添加代码自动补全的功能

通过custom.css文件来设置Jupyter Notebook的默认代码显示字体

在Jetson Nano上搭建一个YOLO v5示例

网上有一个10行搞定目标检测的视频，经测非常实用，通过10行代码实现目标检测，在Jetson Nano上迅速搭建一个目标识别的示例和开发环境。网址：https://www.bilibili.com/video/av91150116/视频例程使用了Jetson官方提供的深度学习库（jetson_inference）进行例程开发项目链接：https://github.com/dusty-nv/jetson-inference项目介绍页面中Building the Project from Sou

在Ubuntu 18.04下测试了YOLO的方案。选择安装的是CUDA 11.4和cuDNN 8.2，在测试v3版本时遇到了编译的问题。所以选择v4版本。参考链接：https://pjreddie.com/darknet/yolo/，基本上遵循v3版本的下载测试指引。除了版本下载选择AlexeyAB的v4版本，其它都按照链接中的操作。项目下载$ git clone https://github.com/AlexeyAB/darknet在当前目录下产生darknet目录。国内通过git连接gi

参考链接：https://blog.csdn.net/chook_you_too_b/article/details/115326310CUDA和cuDNN为NVIDIA支持GPU运算以及深度神经网络计算加速的算法库。通常需要安装以支持利用GPU加速神经网络的训练和推理。在已经安装NVIDIA显卡驱动的情况下，输入nvidia-smi查看显卡信息和适合的CUDA版本。同时，可以在如下的cuDNN版本下载网页查看cuDNN和适配CUDA的版本对应关系。CUDA版本下载：https://devel.

目标识别（Object Detection）就是从图像/视频之中识别出用户感兴趣的目标，反馈目标的位置和类别。目前主流的目标识别技术方案包括R-CNN，YOLO，SSD等

在Linux系统下，除了可以用nvidia-smi命令查看显卡类型以及对应的CUDA版本外，可以通过查看安装目录中的文件获得CUDA和cuDNN的安装版本信息。

CUDA和cnDNN是支持NVIDIA支持GPU的两个库，分别用于高性能计算和深度神经网络计算的支持。CUDA（Compute Unified Device Architecture），是NVIDIA支持GPU的通用并行计算架构，该架构使GPU能够解决复杂的计算问题。可以看作使能GPU的驱动程序或算法SDK。cuDNN是基于CUDA的深度学习GPU加速库，有了它可以在GPU上完成高效的深度学习计算。CUDA历史版本下载地址：https://developer.nvidia.com/cuda-

参考链接：https://blog.csdn.net/weixin_55775980/article/details/116074359通常针对NVIDIA显卡，使用nvidia-smi命令，在cmd窗口下输入nvidia-smi命令，显示所安装的显卡类型，所支持的CUDA版本等信息。如下可以看到显卡的型号为GeForce GT 730，驱动版本号461.37，对应的CUDA版本11.2，这样就可以下载对应版本的CUDA和cuDNN以支持深度学习神经网络运算。此命令在Linux系统下应该也有

​Tensorflow提供了目标识别的API来支持通过各种深度学习网络实现目标识别的功能。如下为Tensoflow支持的各种模型的Github项目https://github.com/tensorflow/models集成了目前支持实现的各种神经网络的模型，包括Resnet，Fast R-CNN，SSD等。

参考链接：https://developer.nvidia.com/embedded/learn/get-started-jetson-nano-devkit#intro新到一个Jetson Nano的开发板，用以测试它在目标识别方面的能力以及可行性，以评估后期在无人机目标识别方面的应用。首先配置开发环境，这里采用开发套件以及Nvidia官方推荐的Jetpack开发软件套件，开发设备包含Jetson Nano板子、13.3寸触摸显示屏、键鼠套装、MIPI接口摄像头、无线网卡等。（参考英伟达NVIDIA开

数据集是人工智能训练的基础，对于特定专业应用的人工智能算法需要用到特定的数据集，如下为网上推荐的几种寻找数据集的方法参考链接：https://blog.csdn.net/Sophia_11/article/details/866173831. Kaggle数据集数据集地址：https://www.kaggle.com/datasets2. Amazon数据集数据集地址：https://registry.opendata.aws/该数据源包含多个不同领域的数据集，如：公共交通、生态资.

网上有很多可以用于深度学习算法验证的数据集，这里仅列出个人进行人工智能学习和研究工作涉及到的常用数据集，比较适合初学者和刚开始从事人工智能方向研究的工作者。