bigcrab的博客

定义窗口注意力机制，与普通的注意力机制不同，其是在各个窗口中执行注意力机制。从中可以看到，其创新点主要是将图片进行拆分作为序列数据带入。差不多，主要实现的是一个下采样的算法过程；相同位置的像素绑定到一起构成一张新的。模型定义完毕后，初始化模型并开始训练。由于层之间重复性出现，可以定义一个。中，这里先实现拆分图片类。进行操作时我们定义三个类。定义一个多头注意力机制类。的数据，导入数据如下。导入数据，这里同样用。

执行代码如下""" 这里 left_pad 添加 [START] 其 ids 默认为 2 同样的 [END] 其 ids 默认为3 """inputs = tokenizer.tokenize(inputs).merge_dims(-2, -1) # 对 RaggedTensor 操作 flat_values 等价于 .merge_dims(-2, -1).merge_dims(-2, -1)

我们在特征图展开为特征序列这一步骤中，将原始特征图切割成不同的小块，理想情况是不同小块分别顺序对应目标字符串中某一字符，由于图片的无规则性以及感受野的存在，这种情况是不现实的，目标字符串中的字符很有可能被不同的块分别对应，这会导致字符串重复的情况出现，因此我们需要对齐预测序列和真实序列，在检测到文本位置后，我们提取出文本图片，将文本图片转化为同一大小格式，接着我们需要执行将文本图片转化为字符串任务；当我们训练好一个RNN模型时，给定一个输入序列X，我们需要找到最可能的输出，也就是求解。

这里直接引用了吴伟硕士毕业论文传统的人脸检测算法缺点现代人脸识别流程由 5 个常见阶段组成：检测、对齐、标准化、表示和验证人脸检测的本质是目标检测，由于人脸检测的精度似乎已经满足了大部分日常使用的要求，目前项目的优化主要是在速度提升方面，项目由于性能的限制对计算速度要求较高，因此大多都是基于 平台的，如 ；这里发现一个满足全平台运行的库包 deepface在 中，进行人脸检测有许多的模型可以使用，不同模型效果判断代码使用如下图片保存在当前目录的 文件夹下，进行可视化如下这里由于 需要在 上运

RPN 网络是在预训练模型的基础上进行的，其有两个输出，一个是、一个是regression，前者维度为， 后者维度为，其中等于9，其中 9 表示下文中生成的 基础锚框个数try:except:pass定义训练和tf.print(f'第。

然后，正向传播到特定层。具体来说就是使用梯度上升的方法可视化网络每一层的特征，即用一张噪声图像输入网络，反向更新的时候不更新网络权重，而是更新初始图像的像素值，以这种“训练图像”的方式可视化网络。卷积神经网络不同层学到的图像特征是不一样的，靠近输入端的卷积层学到的是图像比较具体，局部的特征，如位置，形状，颜色，纹理等。是一样的，其主要还是因为风格转换涉及到的样本数量太少，基本就是两张图片之间进行转化，因此对参数进行梯度更新是不现实的，我们只能利用预训练模型，提取图片特征然后定义特征之间的损失进而进行操作；

其实不然，在深度学习当中，不同的预测任务可能有着不同的标签，且标签的形态可能因任务而改变（例如，分类任务的标签往往是一串序列，而分割任务的标签则是一张图像）；同样，不同的预测任务可能有着不同的特征，特征的形态与架构的形态息息相关，当架构确认之后，其他形态的特征将无法输入架构（比如，我们无法将序列输入到CNN中，也无法将图像输入到DNN中）。因此，想要将真实标签作为特征的一部分输入到生成器和判别器来训练，我们必须要将真实标签转换为当前架构可以接受的形态，更具体地来说，转变为与输入架构的特征完全一致的形态。

选择性搜索（Selective Search, SS）方法是通过图像中的纹理，边缘，颜色等信息对图像进行自底向上的分割，然后对分割区域进行不同尺度的合并，在合并过程中，每生成一个新的区域就产生一个候选框，区域肯定是不规则，我们通过选取区域的最大外接矩阵作为候选框区域，这种方法速度较慢；普通池化固定的是操作，处理后的尺寸是动态的；由于神经网络操作需要输入的尺寸一样才能进行一些常规的算法操作，而框定的图像由于边框回归，锚框比例和大小的作用下，出现图像大小不一致的情况，这里我们需要把图像大小固定为某一尺寸；

注意力机制的主要思想是将注意力集中在信息的重要部分，对重要部分投入更多的资源，以获取更多所关注目标的细节信息，抑制其他无用信息；在注意力机制的背景下，我们将自主性提示称为查询(Query)。对于给定任何查询，注意力机制通过集中注意力(Attention Pooling)选择感官输入(Sensory Input)，这些感官输入被称为值(Value)。每个值都与其对应的非自主提示的一个键(Key)成对。通过集中注意力，为给定的查询(自主性提示)与键(非自主性提示)进行交互，从而引导选择偏向值；

与前后顺序有关的数据称为序列数据，对于序列数据，我们可以使用循环神经网络进行处理，循环神经网络RNN已经成功的运用于自然语言处理，语音识别，图像标注，机器翻译等众多时序问题；RNN模型有以下类别：对于全连接模型，X∈RndX \in \mathcal{R}^{nd}X∈Rnd，WX∈RdhW_X \in \mathcal{R}^{dh}WX​∈Rdh，B∈R1hB \in \mathcal{R}^{1h}B∈R1h ：H=f(XWX+B)H=f(XW_X+B)H=f(XWX​+B)有H∈RnhH \in

假设我们需要识别一张图像，我们不可能去关注所有的像素，假设目标是一只马，我们关注的是：它有几条腿，几只眼睛，站着还是坐着等等；同时，为了丰富图像的色彩，加入了通道这一概念，通道一般有三个，由三原色组成：RGB 红色，绿色，蓝色；感受野指的是某层某一输出的值依赖于原输入的值的范围，可以得到随着卷积层变多，感受野越大；在神经网络中，还有一个参数叫步幅，默认步幅为1，这个很好理解，在计算卷积的时候，隔一个还是多个进行卷积计算，超出就不管了；分别为1，L，P，RGB，RGBA，CMYK，YCbCr，I，F。

不同的初始值，会导致模型收敛到不同的极值点，这里的XOR问题应该已经说明了问题，常见的模型权重初始化有零值初始化，随机初始化，均匀分布初始化，正态分布初始化，正交分布初始化等等，一般来说采用正态分布或者均匀分布的初始值，经过实践证明，这能带来更好的效果；从信息论的角度来看，由于数据处理不等式的存在，在正向传播的过程中，由于层数的加深，每一层所包含的信息准层减少，而残差连接保证了后一层是前一层的信息加上处理后的信息；类似于权重参数，是可以学习的，也就是说，一个BatchNormal层是有两个学习权重的；

机器学习的流程如下所示：根据问题类型选择损失函数。

TFRecord 内部使用了 Protocol Buffer 二进制数据编码方案，它只占用一个内存块，只需要一次性加载一个二进制文件的方式即可，简单，快速，尤其对大型训练数据很友好。假设有一万张图像， TFRecord 可以将其保存成 5 个.tfrecords 文件（具体保存成几个文件，要看文件大小），这样我们在读取数据时，只需要进行5 次数据读取。例如：在一个图像流水线（pipeline）中，一个元素可以是单个训练样本，它们带有一个表示图像数据的张量和一个标签组成的数据对（pair）。

这里以CIFAR-10为数据集，CIFAR-10为小型数据集，一共包含10个类别的 RGB 彩色图像：飞机（airplane）、汽车（automobile）、鸟类（bird）、猫（cat）、鹿（deer）、狗（dog）、蛙类（frog）、马（horse）、船（ship）和卡车（truck）。这里不用书中给的CIFAR-10数据，直接使用TensorFlow自带的玩意导入数据，可能需要魔法，其实TensorFlow中的数据特别的经典。模型的结构如下，现在使用低阶，中阶，高阶 API 来构建这一个模型。

首先是Tensorflow的安装，由于可能会出现版本冲突，最好在conda环境安装，同时，目前windows版本好像只支持2.10，更高的版本目前只支持linux系统。GPU涉及到显卡，这里可以在命令行输入nvidia-smi获取GPU信息!list 在 numpy 中叫 ndarray，在 tensorflow 中叫 tensor，其性能上的主要区别是：ndarray只能在CPU上计算，而tensorflow不仅可以在CPU上计算，也可以在GPU/TPU上计算。

numpy的重要性不言而喻，一般不涉及到GPU/TPU计算，都是用numpy，常见的np就是这个玩意。其特点就是快！其实如果不涉及到深度学习，还有一个库是很重要的，scipy，集成了很多的东西。numpy对象一般有三个属性：ndarray.ndim、ndarray.shape、ndarray.dtype。分别表示数据维度，数据形状，数据类型。