m0_73776435的博客

正则化的本质很简单，就是对某一问题加以先验的限制或约束以达到某种特定目的的一种手段或操作。在算法中使用正则化的目的是防止模型出现过拟合。

A液体神经网络是一个时间连续的递归神经网络（RNN）它按顺序处理数据，保留过去输入的记忆，根据新输入调整其行为，并且可以处理可变长度输入以增强神经网络的任务理解能力。LNN 架构与传统神经网络的不同之处在于它能够有效地处理连续或时间序列数据。如果有新数据可用，LNN 可以更改每层神经元和连接的数量。液体神经网络的先驱，拉敏哈萨尼马蒂亚斯莱希纳，其他人已经采取了灵感来自微小线虫秀丽隐杆线虫，一种 1 毫米长的蠕虫，具有结构完善的神经系统，使其能够执行复杂的任务，例如寻找食物、睡眠和向周围环境学习。

过去我们已经知道了这些紧密连接的神经网络。这些网络的神经元被分成若干组，形成连续的层layer。每一个这样的神经元都与相邻层的每一个神经元相连。下图显示了这种体系结构的一个示例。图1. 密集连接的神经网络结构当我们根据一组有限的人工设计的特征来解决分类问题时，这种方法很有效。例如，我们根据足球运动员在比赛期间的统计数据来预测他的位置。然而，当处理照片时，情况变得更加复杂。当然，我们可以将每个像素的像素值作为单独的特征，并将其作为输入传递给我们的密集网络。

概率和统计知识是数据科学和机器学习的核心；我们需要统计和概率知识来有效地收集、审查、分析数据。现实世界中有几个现象实例被认为是统计性质的（即天气数据、销售数据、财务数据等）。这意味着在某些情况下，我们已经能够开发出方法来帮助我们通过可以描述数据特征的数学函数来模拟自然。“概率分布是一个数学函数，它给出了实验中不同可能结果的发生概率。了解数据的分布有助于更好地模拟我们周围的世界。它可以帮助我们确定各种结果的可能性，或估计事件的可变性。所有这些都使得了解不同的概率分布在数据科学和机器学习中非常有价值。

在这种情况下，我使用了一个实现最大池化的函数，如果所有值都为负，则将值设置为零。现在输入图像已经被过滤成一个更适合最终建模任务的抽象表示（实际上是通过几个卷积层，而不是本示例中的一个卷积层），可以通过展平将其转换为一个向量。每个两个类概率中的一个作为e的指数，这些值除以两个值的总和作为e的指数。原始的YOLO论文使用批归一化，它在一个批次的不同图像之间归一化相同的值。L是展平向量的长度，为18。然后，可以通过对前一部分的结果中的所有值进行平方，将它们相加，除以值的数量，并计算平方根来计算标准差。

对于长度为 K 的任意实向量，Softmax 可以将其压缩为长度为 K，值在（0，1）范围内，并且向量中元素的总和为 1 的实向量。（同时，有界性也是有优势的，因为有界激活函数可以具有很强的正则化，并且较大的负输入问题也能解决）；注意：在一般的二元分类问题中，tanh 函数用于隐藏层，而 sigmoid 函数用于输出层，但这并不是固定的，需要根据特定问题进行调整。激活函数是神经网络模型重要的组成部分，本文作者Sukanya Bag从激活函数的数学原理出发，详解了十种激活函数的优缺点。

三维点云的自监督表示学习受到了越来越多的关注。然而，现有的3D计算机视觉领域的方法通常使用固定的嵌入来表示潜在特征，并对嵌入施加硬约束，以使正样本的潜在特征值趋于一致，这限制了特征提取器在不同数据域上的泛化能力。为了解决这个问题，我们提出了一个生成变分对比学习（GVC）模型，其中使用高斯分布来构建潜在特征的连续、平滑表示。构建了分布约束和交叉监督，以提高特征提取器在合成和真实世界数据上的迁移能力。具体来说，我们设计了一个变分对比模块来约束特征分布，而不是潜在空间中每个样本对应的特征值。

X=idwt2(cA,cH,cV,cD,Lo_R,Hi_R)使用指定的重构低通和高通滤波器 Lo_R 和 Hi_R 重构原信号 X；[cA,cH,cV,cD]=dwt2(X,Lo_D,Hi_D) 使用指定的分解低通和高通滤波器 Lo_D 和 Hi_D 分。X=idwt(cA,cD,'wname',L) 和 X=idwt(cA,cD,Lo_R,Hi_R,L) 指定返回信号 X 中心附近的 L 个点。和X=idwt2(cA,cH,cV,cD,Lo_R,Hi_R,S) 返回中心附近的 S 个数据点。

如果希望将数字图像装入工作台中，需使用 getimage 函数，从当前的句柄图形数字图像对象中获取数字图像数据，dither 数字数字图像抖动，将灰度图变成二值图，或将真彩色数字数字图像抖动成索引色数字数字图像。分散的数字数字图像也可以合并成数字数字图像序列，前提是各数字数字图像尺寸必须相同，若是索引色数字数字图像，注意：对于索引数字图像，即使数字图像阵列的本身为类uint8或类uint16，imread函数仍将。(2) 此外，还可以使用一个调色板显示一副二进制数字图像。

说明：对于 C=conv2(A,B) ，conv2 的算矩阵A 和 B 的卷积，若[Ma,Na]＝size(A), [Mb,Nb]=size(B), 则 size(C)=[Ma+Mb-1,Na+Nb-1];说明：J=imadjust(I,[low high],[bottomtop],gamma) 其中，gamma 为校正量r，[lowhigh] 为原数字数字图像中要变换的灰度范围，[bottom top][J,T]=histeq(I,...)返回从能将数字数字图像 I 的灰度直方图变换成。

① imnoise：用于对数字数字图像生成模拟噪声%模拟高斯噪声② fspecial：用于产生预定义滤波器%sobel水平边缘增强滤波器%高斯低通滤波器%拉普拉斯滤波器%高斯拉普拉斯（LoG）滤波器%均值滤波器​。

容器=镜像+读写层容器最上边那一层是可读可写的。镜像可以看作是面向对象编程中的类。

论文：A Survey of Neural Code Intelligence: Paradigms, Advances and Beyond地址：GitHub：https://github.com/QiushiSun/NCISurvey神经代码智能（Neural Code Intelligence），即利用深度学习理解、生成和优化代码，正展现出其对人工智能领域变革性的影响。作为连接与的桥梁，这一领域不论是从论文数量上还是应用上，在过去几年里已经极大吸引了研究界/工业界的关注。

transformer是一种编解码（encoder-decoer）结构，用于自然语言处理、计算机视觉等领域，编解码结构是当前大模型必包含的部分。编解码结构图：transformer模块编码输入得到特征，然后解码得到输出。transformer论文的一张经典图：结合transformer论文和代码，模块主要包括了：词嵌入模块（input embedding）位置编码模块（Positional Encoding）多头注意力机制模块（Multi-Head Attention）

少样本学习是一种强大的技术，它使模型能够从少数例子中学习。它在各个领域都有大量的应用，并有可能彻底改变机器学习。随着不断的研究和开发，少样本学习可以为更高效和有效的机器学习系统铺平道路。

rpn和rcnn的正负样本定义都是基于MaxIoUAssigner，只不过定义阈值不一样而已。MaxIoUAssigner的操作包括4个步骤：首先初始化时候假设每个anchor的mask都是-1，表示都是忽略anchor将每个anchor和所有gt的iou的最大Iou小于neg_iou_thr的anchor的mask设置为0，表示是负样本(背景样本)

乘法滤波器是一种以像素值为权重的滤波器，它通过将滤波器的权重与图像的像素值相乘，来获得滤波后的像素值。而20*np.log(np.abs(x))将数据按20倍缩放，并对数据的绝对值取对数，这可以更容易地看到不同频率之间较小的幅度差异。在可视化傅里叶频谱时，使用np.log(1+np.abs(x))和20*np.log(np.abs(x))之间的选择是个人喜好的问题，可以取决于具体的应用程序。这个乘法过程对于去除不需要的频率和增强所需的频率是必不可少的，从而产生更清晰和更清晰的图像。

给定编码器处理的图像嵌入，如他们的公开演示中所示，SAM可以在资源受限的设备中工作，因为掩码解码器是轻量级的。然而，原始SAM中的默认图像编码器是基于ViT-H的，具有超过600M的参数，这是非常重量级的，并使整个SAM管道与移动设备不兼容。因此，获得移动友好SAM的关键在于用轻量级的图像编码器取代重量级的图像编码器，这也自动保持了原始SAM的所有功能和特性。具体地说，将原始SAM中的图像编码器ViT-H的知识提取到一个轻量级的图像编码器中，该编码器可以自动与原始SAM中的掩码解码器兼容。

上面的代码同样是遍历每一个像素将前一个像素和后一个像素相加，然后将获得的值右移一位，这样就能实现除以2的效果，之所以做位运算，是因为位运算的速度比除法运算要快很多。在上述代码中，通过遍历每一个像素，然后计算该像素的三个分量的加权平均值，将三个分量设置成同一个值，这样就实现了对图像的灰度化处理。其实所谓的模糊化，就是将各个像素的相邻的像素的各个分量的值相加，然后除以2就可以实现对图像的模糊处理。将彩色图像中的三分量的亮度作为三个灰度图像的灰度值，可根据应用需要选取一种灰度图像。

该架构包含两条路径。因此，它是一个端到端的，完全卷积的网络（FCN），即它只包含卷积层，不包含任何稠密层，因此它可以接受任何大小的图像。如果你好奇，那么在计算Dice系数的分子中有一个2，是因为我们的分母“双重计算”了两个集合之间的公共元素。这就有了一个根据目标掩码的大小来归一化损失的效果，以便平滑的Dice损失不会在图像中具有较少空间表示的类中学习。对于图像分割任务，一个常见的损失函数是基于Dice系数的，它本质上是两个样本之间重叠的度量。这个式子的更高值，也就是分子中的部分，会导致更好的Dice系数。

利用numpy工具，手动搭建一个 DNN 深度神经网络。定义网络结构初始化模型参数循环计算：前向传播/计算当前损失/反向传播/权值更新。

与深度神经网络（DNN）模型类似，该文作者通过将时间序列预测任务转化为一个基于窗口的回归问题，对GBRT模型的输入和输出结构进行了特征设计，例如，对于每个训练窗口，目标值与外部特征相连接，然后扁平化形成一个多输出GBRT模型的输入实例。模型是本研究中最新的DNN方法，通过将用于局部处理的递归层与捕捉数据中长期依赖关系的转化器典型的自我注意层相结合，该模型不仅可以在学习过程中动态地关注相关的特征，而且还可以通过门控机抑制那些被认为是不相关的特征。是一个概率生成模型，使用RNN学习参数化的线性状态空间模型。

可以肯定的是，强边缘必然是边缘点，因此必须将maxVal设置的足够高，以要求像素点的梯度值足够大（变化足够剧烈），而弱边缘可能是边缘，也可能是噪声，当虚边缘与强边缘相连时，就认为该虚边缘点是边缘点，以此来实现对强边缘的补充。在每一点上，邻域中心与沿着其对应的梯度方向的两个像素相比，若中心像素（）为最大值，则保留，否则中心置0，这样可以抑制非极大值，保留局部梯度最大的点，以得到细化的边缘。梯度的方向与边缘的方向总是垂直的。图像中给定的边缘应只被标记一次，并且在可能的情况下，图像的噪声不应产生假的边缘。

大量数据的可用性和硬件处理单元的改进加速了 CNN 的研究，最近也报道了非常有趣的深度 CNN 架构。2015 年，为了训练深度 CNN，Resnet 引入的残差连接概念变得很有名，并且，后来的大多数网络像 Inception-ResNet，WideResNet，ResNext 等都在使用它。与此类似，一些像 WideResnet、Pyramidal Nets、Xception 这样的架构都引入了多层转换的概念，通过额外的基数和增加的宽度来实现。不同的抽象级别在定义神经网络的鉴别能力方面有着重要的作用。

原标题：Semisupervised Neural Proto-Language Reconstruction论文地址：https://arxiv.org/pdf/2406.05930现有实现祖先语言（原语言）比较重建的工作通常需要完全监督。然而，如果历史重建模型只能用少量标记数据进行训练，那么它们才具有实际价值。我们提出了一个半监督历史重建任务，其中模型仅在少量标记数据（带有原形式的同源词集）和大量无标记数据（没有原形式的同源词集）上进行训练。

我们将模型划分为两部分，存放到一个列表里，每部分就对应上面的一个字典，在字典里设置不同的学习率。：去除dim指定的且size为1的维度，维度大于1时，squeeze()不起作用，不指定dim时，去除所有size为1的维度。也可以在列表外设置一个全局学习率，当各部分字典里设置了局部学习率时，就使用该学习率，否则就使用列表外的全局学习率。的作用就是释放缓存分配器当前持有的且未占用的缓存显存，以便这些显存可以被其他GPU应用程序中使用，并且通过。设置当前使用的GPU设备仅为0号设备，设备名称为。

与YOLOv9-C相比，YOLOv10-B在相同性能下延迟减少了46%，参数减少了25%。论文地址：https://arxiv.org/pdf/2405.14458项目地址：https://github.com/THU-MIG/yolov10在过去几年中，YOLO系列模型已成为实时目标检测领域的主导范式，这得益于它们在计算成本和检测性能之间的有效平衡。研究行人探索了YOLOs的架构设计、优化目标、数据增强策略等，取得了显著的进展。