qq_42563807的博客

预训练的模型从不同的文档类型中吸收跨模态知识，从而保持了这些布局和样式之间的局部不变性。由于空间位置是连续的（例如，图像中的像素坐标），但模型参数（包括偏置项）是离散的（存储在内存中的数值），因此我们需要一种方法来将连续的空间位置映射到离散的参数上。即，在一个具有多头注意力的模型中，每个注意力头都有自己的独特偏置项，但这些偏置项在模型的所有编码器层之间是共享的。在深度学习和计算机视觉的上下文中，偏置项通常被设计为与模型中的其他参数（如权重）一起学习和优化，但它们并不直接对应于输入数据的连续特征或位置。

ASR-PaddleSpeech

一个自然的想法是在GAN的图像空间寻找一张灰度化后与目标图片一致的图片，由于GAN倾向于输出自然的图片，因此找到的这张图会有自然的颜色。即，如果我们要复原图像A，则可以训练GAN网络，使其生成一个跟图像A的GroundTruth相似度很高很高的图像，该生成图像即为我们修复后的图像；用GAN模型近似表征自然图像分布，在恢复图像时，对于失真图，要恢复它，其实就是要在GAN表征的自然图分布中找到一个跟失真图最相似的图。提出了GFP-GAN，利用丰富多样的先验，将其封装在一个预训练的人脸中，用于模糊人脸修复。

之前只接触过传统方法的人脸识别算法，本以为基于深度学习的方法会使用对比损失之类的函数进行训练，但是Arcface算法基于softmax进行了创新，本文未深究其详细的loss公式原理，在大致明白其方向下，运行了代码，记录如下。因为使用的.pt应该是要求128*128的尺寸，我仅是将图片直接reshape，并未进行其他操作，故而得分都不是很高，但是简单的设置阈值，也能得到正确的结果；表示类别得分 f 的向量的第 j 个元素 （ j ∈ [1, K]，K 是类的数量），N 是训练数据的数量。经常用于相似度计算。

第一层是输入层，包含两个神经元i1​i2​和截距项b1​;第二层是隐含层，包含两个神经元h1​h2​和截距项b2​;第三层是输出o1​o2​;每条线上标的wi​是层与层之间连接的权重，激活函数采用sigmoid函数；

无监督模型包括，各种聚类分析(KMeans, DBSCAN)、主成分分析 (PCA)、独立成分分析 (ICA)、隐含狄利克雷分配 (LDA) 等等；

信息增益-离散型

TextIOBase ABC是 IOBase 的另一个子类，它处理字节表示文本的流，并处理字符串之间的编码和解码。由于要打印的参数会被转换为文本字符串，因此print()不能用于二进制模式的文件对象。所有流对提供给它们的数据类型都很敏感。1、print()函数可以输出一个值，也可以同时输出多个值，如果输出多个值，这多个值之间用半角逗号隔开；所有非关键字参数都会被转换为字符串，并会被写入到流，以sep分割，并在末尾加上end。三种主要的 I/O类型分别为: 文本 I/O, 二进制 I/O 和 原始 I/O。

Wav2vec: Unsupervised Pre-training for Speech Recognition该模型非完整的ASR，而是一个将wav通过标记的、未标记的数据，通过无监督的方式进行训练，得到可以送入ASR中的向量；以提升ASR的准确率；当前用于语音识别的最新模型需要大量标记好的音频数据才能获得良好的性能。最近，在标注数据缺少的情况下，神经网络的预训练已经成为一种有效的技术。关键思想是先在有大量标记或未标记数据中进行general的训练，再在数据量受限的目标数据上fine-tune来提高

ASRThttps://blog.ailemon.net/2018/08/29/asrt-a-chinese-speech-recognition-system/ASR-Automatic Speech Recognition &&&&&&&&&& Paddle Speech涉及数据集：Aishell, wenetspeech, librispeech…涉及方法：① DeepSpeech2: End.

pred_yolo_1 = _conv_block(x, [{'filter': 1024, 'kernel': 3, 'stride': 1, 'bnorm': True, 'leaky': True, 'layer_idx': 80}, {'filter': (3*(5+nb_class)), 'kernel': 1, 'stride': 1, 'bnorm': False, 'leaky': False, 'layer_idx': 81

yolov1 v2

参考搬运：https://blog.csdn.net/cdknight_happy/article/details/105427428行人属性识别(Pedestrian Attribute Recognition, PAR)，目的是从输入图像中挖掘行人的属性信息。行人属性识别挖掘得到的是行人的高层语义信息，这些信息和低层特征不同，对视角变换和成像条件的变化比较鲁棒。计算机视觉领域的很多算法，如ReID和行人检测，都会集成行人的属性信息以提升算法的鲁棒性。受视角、光线、分辨率等因素的影响，它仍然是一个

FSCE: Few-Shot Object Detection via Contrastive Proposal Encodingcontrastive predictive coding ------------ CPC领域对比预测编码Contrastive Proposal Encoding (CPE) LossN个 ---- {z, u, y}z----featureu----IOU scorey----label of GT公式4----筛选 BBOX 的 IOU；公式3

什么是点云，如何获得点云。A. 点云包含了很多信息，除了3维坐标数据之外，还可能包括颜色、分类值、强度值、时间等。B. 点云数据可以由多种方法获得：直接由Lidar激光扫描出点云数据。不同角度的2D图像组合成点云由深度图（Depth Map）生成点云，即将图像坐标+深度信息从图像坐标系转换为世界坐标系。C. 点云和深度图都会出现深度信息的缺失，因为往往传感器只能捕捉物体表面的信息。D. obj .off .ply格式都是3D mesh格式，即物体被划分成若干个微小单元（三角形，或其他形状）

A Point Set Generation Network for 3D Object Reconstruction from a Single Image（很多图片与公式上传略麻烦，详细笔记见自己的KeYan report）文章链接：https://arxiv.org/abs/1612.00603源码链接：https://github.com/fanhqme/PointSetGeneration通过深度神经网络生成3D数据已在研究界引起了越来越多的关注。PointSetGeneration网络

接上篇，同样引：https://blog.csdn.net/shangjiankeji/article/details/1126814502.3 Π Model & Temporal ensembling Model: Temporal ensembling for semi-supervised learning, 2017这篇研究工作由 NVIDIA 的研究小组完成，其中包含两个半监督算法框架，分别是 Π Model和Temporal ensembling Model, 二者都可以认为是 Γ

引：LadderNet:https://blog.csdn.net/shangjiankeji/article/details/112681450https://zhuanlan.zhihu.com/p/54719656自编码器：https://blog.csdn.net/qq_24407657/article/details/82499677https://www.sohu.com/a/224516673_999921811. Γ Model：Semisupervised learning

re.match函数re.match尝试从字符串的起始位置匹配一个模式，如果不是起始位置匹配成功的话，match()就返回None。函数语法：re.match(pattern, string, flags=0)#!/usr/bin/python# -*- coding: UTF-8 -*- import reprint(re.match('www', 'www.runoob.com').span()) # 在起始位置匹配print(re.match('com', 'www.run

np.nonzero(a)返回数组a中非零元素的索引值数组。（1）只有a中非零元素才会有索引值，那些零值元素没有索引值；（2）返回的索引值数组是一个2维tuple数组，该tuple数组中包含一维的array数组。 其中，一维array向量的个数与a的维数是一致的；（3）索引值数组的每一个array均是从一个维度上来描述其索引值。比如，如果a是一个二维数组，则索引值数组有两个array，第一个array从行维度来描述索引值；第二个array从列维度来描述索引值。（4） 该np.transpose(n