ccql's Blog

由Experience Replay返回当前状态作为Q网络输入，Q网络使用随机初始化后的参数得到当前状态下可以采用的所有动作所对应的Q值，并按照ε-greedy策略选择要执行的动作输出给Experience Replay，其得到动作后与环境进行交互并得到下一状态以及奖励，并将这一系列数据作为训练数据与第一步产生的部分数据进行存储。在已存储数据中随机选择一批训练数据（S1,a4, R1, S2），将当前状态S1输入Q网络得到当前状态下所有动作对应的Q值，并选择a4对应的Q值。

Q-learning算法实际上相当简单，仅仅维护一个Q值表即可，表的维数为（所有状态S，所有动作A），表的内容称为Q值，体现该状态下采取当前动作的未来奖励期望。智能体每次选择动作时都会查询Q值表在当前状态下采取何种动作得到的未来奖励可能最多，当然也会添加一些随机性，使智能体可能选择别的可能当前认为未来奖励并不多的动作，以便跳出局部最优解，尽量得到全局最优解。

本文汇总现代卷积神经网络，包括LeNet、AlexNet、VGG、NiN、GoogLeNet、ResNet、DenseNet。列举各网络的网络结构、实现代码以及其网络特征。

原始VGG网络有5个卷积块，其中前两个块各有一个卷积层，后三个块各包含两个卷积层。 第一个模块有64个输出通道，每个后续模块将输出通道数量翻倍，直到该数字达到512。由于该网络使用8个卷积层和3个全连接层，因此它通常被称为VGG-11。

卷积神经网络（LeNet）1. 网络结构网络结构计算过程：2. 网络结构说明LeNet分为卷积层块和全连接层块两个部分。卷积层块里的基本单位是卷积层后接最大池化层：卷积层用来识别图像里的空间模式，如线条和物体局部，之后的最大池化层则用来降低卷积层对位置的敏感性。卷积层块由两个这样的基本单位重复堆叠构成。在卷积层块中，每个卷积层都使用5×55\times 55×5的窗口，并在输出上使用sigmoid激活函数。第一个卷积层输出通道数为6，第二个卷积层输出通道数则增加到16。这是因为第二个卷积层比第

深度卷积神经网络_AlexNet1.网络结构网络结构计算过程：2.网络结构说明AlexNet与LeNet的设计理念非常相似，但也有显著的区别。第一，更大的卷积窗口和更多的卷积通道：AlexNet第一层中的卷积窗口形状是11×1111\times1111×11。因为ImageNet中绝大多数图像的高和宽均比MNIST图像的高和宽大10倍以上，ImageNet图像的物体占用更多的像素，所以需要更大的卷积窗口来捕获物体。第二层中的卷积窗口形状减小到5×55\times55×5，之后全采用3×33\t

Tensor数据操作文章目录Tensor数据操作1. Tensor创建2. 索引3. 改变形状4. 广播机制5. 运算的存储机制6. Tensor和NumPy相互转换7. 梯度1. Tensor创建# 导入一些常用库import torchfrom IPython import displayfrom matplotlib import pyplot as pltimport numpy as npimport randomimport torch.nn as nnimport torc

深度学习计算文章目录深度学习计算1. 模型构造1.1 继承`Module`类来构造1.2 `Sequential`类来构造2. 模型参数的访问、初始化和共享2.1 访问模型的层数据2.1.1 访问多层感知机`net`的所有层数2.1.2 索引访问任意层2.2 初始化模型参数2.3 读模型参数2.4 读优化器参数3. 保存和加载模型3.1 保存和加载`state_dict`(推荐方式)3.2 保存和加载整个模型1. 模型构造1.1 继承Module类来构造import torchfrom torch

深度学习基础文章目录深度学习基础1 线性回归1.1 线性回归从零开始实现生成数据集读取数据初始化模型参数定义模型定义损失函数定义优化算法训练模型1.2 线性回归的简洁实现生成数据集读取数据定义模型初始化模型参数定义损失函数定义优化算法训练模型2 softmax回归2.1 softmax回归的从零开始实现获取数据集初始化模型参数实现softmax运算定义模型定义损失函数定义优化函数计算分类准确率模型训练2.2 softmax回归的简介实现获取和读取数据定义和初始化模型softmax和交叉熵损失函数定义优化算

1. 输入通道数为nnn，输出通道数为111当输入数据含多个通道时，我们需要构造一个输入通道数与输入数据的通道数相同的卷积核，从而能够与含多通道的输入数据做互相关运算。例如：含222个输入通道的二维互相关计算的例子。在每个通道上，二维输入数组与二维核数组做互相关运算，再按通道相加即得到输出。图中阴影部分为第一个输出元素及其计算所使用的输入和核数组元素：(1×1+2×2+4×3+5×4)+(0×0+1×1+3×2+4×3)=56(1×1+2×2+4×3+5×4)+(0×0+1×1+3×2+4×3)=56(