- 博客(31)
- 收藏
- 关注
RSS订阅原创 Hive实战（使用30w条聊天数据构建分析报表 ，附加BUG解决）
hadoop+hive实例使用jps检查各组件启动情况查看10000端口号是否被监听下载安装后打开点击编辑驱动设置，删除原有的驱动，换成自己的驱动确认后进行连接测试1.检查metastore和hiveserver2是否打开，查看10000端口号是否被监听。否，重复1.1步骤2.打开windows终端，ping linux ip 地址能否 ping 通。
2024-05-17 12:20:19
661
原创 Hadoop分布式配置小白篇（附加各阶段问题解决方式）
此时node1节点中的Hadoop中的文件配置好了，如果同样的对node2、node3进行同样的操作过于麻烦，可以直接将node1中配置好的文件分发到node2、node3中。链接：https://pan.baidu.com/s/1mykapkmv7fW3OdWJpNRODw?按下图进行配置、node1有主节点、从节点、主节点辅助、所以需要的配置更高。同理创建node2、node3（改名字、选择创建自己的路径）同理对node2、node3进行配置（2G）在node1节点下以root权限进行操作。
2023-12-14 19:01:48
588
原创 解决yolov7bug(Command ‘git tag‘ returned non-zero exit status 128.)(IndexError: list index out of ran)
执行train.py，Command 'git tag' returned non-zero exit status 128.
2023-05-14 11:01:04
4103
2
原创 RT-DETR：《DETRs Beat YOLOs on Real-time Object Detection》
基于Transformer的端到端检测器（DETR）的高计算成本问题尚未得到有效解决，这限制了它们的实际应用，并使它们无法充分利用无后处理的好处，。本文首先分析了现代实时目标检测器中NMS对推理速度的影响，并建立了端到端的速度基准。为了避免NMS引起的推理延迟，作者提出了一种实时检测Transformer（RT-DETR），这是第一个实时端到端目标检测器。具体而言，
2023-04-27 21:22:59
888
原创 FatesrNet：Run, Don‘t Walk: Chasing Higher FLOPS for Faster Neural Networks
为了实现更快的网络，作者重新回顾了FLOPs的运算符，并证明了如此低的FLOPS主要是由于运算符的频繁内存访问，尤其是深度卷积。因此，作者提出了一种新的partial convolution（PConv），通过同时减少和可以更有效地提取空间特征，又基于PConv进一步提出FasterNet框架。
2023-04-05 21:50:28
1297
原创 学习中遇到的知识点
优点：加入了先验知识，模型训练相对稳定；密集的anchor box可有效提高召回率，对于小目标检测来说提升非常明显。缺点：对于多类别目标检测，超参数相对难设计；冗余box非常多，可能会造成正负样本失衡；在进行目标类别分类时，超参IOU阈值需根据任务情况调整。优点：计算量减少；可灵活使用。缺点：存在正负样本严重不平衡；两个目标中心重叠的情况下，造成语义模糊性；检测结果相对不稳定。
2023-03-21 20:48:58
1523
原创 跑yolox遇到的BUG
size mismatch for head.cls_preds.0.weight: copying a param with shape torch.Size([6, 128, 1, 1]) from checkpoint, the shape in current model is torch.Size([8, 128, 1, 1]).AttributeError: 'NoneType' object has no attribute 'shape'
2023-03-18 15:47:57
605
1
原创 Centralized Feature Pyramid for Object Detection (目标检测Neck组件)
1.基于网络内特征金字塔的方法（是用适当的上下文信息为不同大小的每个目标分配感兴趣区域，并使这些目标能够在不同的特征层中被识别）：例如SSD和FFP缺点：上述方法基于CNN主干，而CNN主干受到固有的极限感受野的影响。3.基于Transformer方法(将输入图像划分为不同的图像块，然后使用块之间基于多头注意力的特征交互来完成获取全局长距离相关性的目的。)：PVT和Swin transformer缺点：尽管这些方法可以解决CNN中有限的感受野和局部上下文信息，但一个明显的缺点是它们的计算复杂性大。
2023-03-13 15:21:16
1368
原创 解决TypeError: conv2d() received an invalid combination of arguments
TypeError: conv2d() received an invalid combination of arguments - got (tuple, Parameter, Parameter, tuple, tuple, tuple, int), but expected one of: * (Tensor input, Tensor weight, Tensor bias, tuple of ints stride, tuple of ints padding, tuple of ints di
2022-10-28 19:57:00
13505
4
原创 DETR:End-to-End Object Detection with Transformers
我们提出了一种将目标检测视为直接集合预测问题的新方法。我们的方法简化了检测流程，有效地消除了对许多手工设计组件的需求，例如非最大值抑制过程或锚生成，其显式地编码我们关于任务的先验知识。新框架的主要成分，称为 DEtection TRansformer 或 DETR，是基于集合的全局损失，通过二分图匹配强制进行独特的预测，以及Transformer编码器-解码器架构。给定一组固定的学习对象查询，DETR 推理对象的关系和全局图像上下文以直接并行输出最终的预测集。
2022-10-15 16:18:13
1356
原创 ViTDet:Exploring Plain Vision Transformer Backbonesfor Object Detection（arXiv 2022）
本文提出了一种简单、无层次的视觉Transformer(ViT)作为目标检测的骨干网络。这种设计使原始的ViT架构能够针对对象检测进行微调，而无需重新设计用于训练前的分层主干。通过对微调的最小调整，我们的普通骨干检测器可以获得具有竞争力的结果。令人惊讶的是，我们观察到:(i)从单尺度特征图(没有常见的FPN设计)构建一个简单的特征金字塔是足够的，(ii)在很少的跨窗口传播块的辅助下，使用窗口注意(不移动)是足够的。
2022-10-11 14:58:25
2086
原创 Attention Is All You Need (Transformer 原文)
循环神经网络、长短期记忆和门控循环神经网络，在语言建模和机器翻译等序列建模和转导问题中已被牢固确立为最先进的方法。此后，许多努力继续推动循环语言模型和编码器-解码器架构的界限。循环模型通常沿输入和输出序列的符号位置考虑计算。将位置与计算时间的步骤对齐，它们生成一系列隐藏状态 ht，作为先前隐藏状态 ht-1 和位置 t 的输入的函数。这种固有的顺序性质排除了训练示例中的并行化，这在更长的序列长度下变得至关重要，因为内存限制限制了示例之间的批处理。
2022-10-01 10:37:38
2352
原创 Progressive Minimal Path Method with Embedded CNN(嵌入CNN的渐进最小路径法)CVPR
基于拓扑感知的管状结构中心线分割在计算机视觉中起着至关重要的作用。其最重要的应用领域之一是定量分析卫星图像中的道路和河流，用于测量、规划或导航。这些都是具有挑战性的任务，因为道路和河流的形状复杂，其环境的高度可变性。当使用常用的方法进行目标分割时，通常在第一步计算一个管状结构的二进制掩模。在此之后，通常需要基于启发式的后处理，以确定中心线，并处理管状结构上由于噪声或图像杂波造成的小间隙。相反，基于Dijkstra算法的最小路径方法或快速行进方法提供了更优雅的解决方案。
2022-09-25 12:56:34
1144
3
原创 分清规范化（标准化、归一化）、离散化、正则化、
在机器学习中，特征与模型都很重要，因此在数据集中寻找本质特征有利于后面的工作，借鉴了以前上课的课件，今天总结一下机器学习的几种数据预处理方法。
2022-08-23 22:58:20
1315
原创 VIT: An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale(arXiv 2021)
基于自注意力的架构，尤其是Transformer，已经成为自然语言处理(NLP)中选择的模型。主要的方法是在大型文本语料库上进行预训练，然后在较小的任务特定数据集上进行微调。由于Transformer 的计算效率和可扩展性，训练具有超过100B参数的空前规模的模型成为可能。随着模型和数据集的增长，仍然没有表现出饱和的迹象。然而，在计算机视觉中，卷积架构仍然占主导地位。受到NLP成功的启发，许多作品尝试将CNN类架构与自注意力结合，一些完全取代卷积全部使用自注意力。
2022-08-21 18:35:05
804
1
原创 EdgeNeXt: Efficiently Amalgamated CNN-Transformer Architecture forMobile Vision Applications(arXiv)
为了追求不断提高的精度，通常需要开发大型和复杂的神经网络。这种模型需要很高的计算资源，因此不能部署在边缘设备上。由于资源高效的通用网络在多个应用领域都很有用，因此构建资源高效的通用网络具有很大的意义。在这项工作中，我们努力有效地结合CNN和Transformer模型的优点，提出一种新的高效混合体系结构EdgeNeXt。具体来说，在EdgeNeXt中，我们引入了分裂深度转置注意(SDTA)编码器，它将输入张量分割成多个信道组，并利用纵深卷积和跨通道维度的自注意来隐含地增加感受野并编码多尺度特征。...
2022-08-14 23:38:13
841
原创 看了几十篇轻量化目标检测论文扫盲做的摘抄笔记
参考文献摘要：本文首先介绍了轻量化目标检测及其发展历程，接着又对网络进行概述，在此基础上引出近三年来最新的轻量化目标检测算法，最后对轻量化目标检测的发展和研究做出总结。关键字：目标检测；轻量化；卷积神经网络；深度学习引言近年来，随着深度学习技术的不断发展，神经网络凭借强大的特征表达能力和泛化能力在计算机视觉领域取得了巨大的成功，目标检测技术也从基于手工特征的传统算法转向了基于深度神经网络的检测算法[1]。但当前基于深度卷积神经网络的目标检测算法计算资源需求太大和内存消耗严重使得成本较高[2]，而。.....
2022-08-08 14:44:09
10001
1
原创 Toward Fast, Flexible, and Robust Low-Light Image Enhancement(实现快速、灵活和稳健的弱光图像增强)CVPR2022
现有的低照度图像增强技术大多不仅难以处理视觉质量和计算效率，而且在未知的复杂场景中普遍无效。在本文中，我们开发了一个新的自我校准光照（SCI）学习框架，用于在现实世界的低光照场景中快速、灵活和稳健地提高图像亮度。具体来说，我们建立了一个具有权重共享的级联照度学习过程来处理这项任务。考虑到级联模式的计算负担，我们构建了自校准模块，实现了每个阶段的结果之间的收敛，产生了只使用单一基本块进行推理的收益（但在以前的工作中没有利用），这大大降低了计算成本。......
2022-07-26 20:25:52
4952
1
原创 Unknown-Aware Object Detection:Learning What You Don’t Know from Videos in the Wild(未知目标检测)CVPR 2022
构建能够检测出分布外(OOD)对象的可靠的目标检测器至关重要，但尚未得到充分的研究。关键的挑战之一是，模型缺乏来自未知数据的监督信号，导致对OOD对象的预测过于自信。我们提出了一种新的，通过，从野生视频中提取未知对象，并有意义地规范化模型的决策边界。STUD首先在空间维度上识别未知的候选物体建议，然后将多个视频帧中的候选物体聚集起来，形成决策边界附近的多样化未知物体集。同时，我们采用了基于能量的不确定性正则化损失，它形成了不确定性在分布和蒸馏的未知对象之间的空间。......
2022-07-25 23:14:08
1827
原创 Localization Distillation for Dense Object Detection（用于密集目标检测的定位蒸馏）CVPR2022
知识蒸馏（KD）在目标检测中具有强大的学习紧凑模型的能力。以往的KD目标检测方法大多侧重于模仿模仿区域内的深层特征，而不是模仿分类logit，因为其在提取定位信息方面效率低下，并且改进很小。本文通过对知识蒸馏的重新表述，在定位过程中，我们提出了一种新的定位提取方法，可以有效地将定位知识从教师传递给学生。此外，我们还启发性地引入了有价值的定位区域的概念，可以帮助有选择地提取特定区域的语义和定位知识。我们证明了logit模拟优于特征模拟，并且在提取目标检测器时，定位知识提取比语义知识更重要、更有效。......
2022-07-19 21:17:11
3153
1
原创 图像分类、目标检测、语义分割、实例分割等计算机视觉方向基本概念
1.图像分类（Object Classification）：识别图片中存在的不同物体的种类（下方左图，人类、羊类、狗类） 2.目标检测(Object Detection)：识别图片中的物体及其位置，把它们用矩形框框起来（上方右图，识别三类并用框框起来） ...
2022-07-11 23:30:44
4909
原创 《图像增强算法综述》、 《图像增强》知识点
图像增强方法从增强的作用域出发，可分为空间域增强和频率域增强两种。 基于空域的方法直接对图像像素的灰度进行处理；在空间域内对图像进行点运算, 它是一种既简单又重要的图像处理技术, 它能让用户改变图像上像素点的灰度值, 这样通过点运算处理将产生一幅新图像...
2022-07-10 21:52:04
1195
原创 《论计算机视觉技术》、《计算机视觉技术的发展及应用》知识点
计算机视觉技术是一项人工智能化的技术，它是模拟人类对环境进行感知的过程，因此它是一个跨学科的交叉领域，其中包括图像处理、人工智能、数字化技术等。又被称为图像理解，说直白一点便是利用相关的图像处理方法去得到人们想要的图像信息。 目前计算机技术已经能够对二维图像进行分析和处理，对于二维图像中的内容进行识别和分析，但是在具体的应用过程中，人类希望计算机能够对三维结构进行更加深入的分析以满足人类的智能需求。计算机视觉技术的主要研究内容和目的主要有三点：...
2022-06-29 22:01:08
636
原创 Dense Contrastive Learning for Self-Supervised Visual Pre-Training(基于密集对比学习的自我监督视觉预训练)2021
迄今为止，大多数现有的自监督学习方法针对图像分类进行了设计和优化。由于图像级预测和像素级预测之间的差异，这些预先训练的模型对于密集预测任务可能是次优的。为了填补这一空白，我们的目标是设计一种有效、密集的自监督学习方法，通过考虑局部特征之间的对应关系，直接在像素水平（或局部特征）工作。我们提出了密集的对比学习（DenseCL），该学习通过在输入图像的两个视图之间的像素水平上优化成对的对比（不相似）损失来实现自监督学习。 ...............
2022-06-28 10:21:36
1822
原创 Catching Both Gray and Black Swans: Open-set Supervised Anomaly Detection(捕捉灰天鹅和黑天鹅：开放集监督异常检测)
引言：尽管现在大多数异常检测研究都假设只有正常的训练样本可用，但是实际应用中会有一些异常的样本，就像医学中的病变图像，这些异常的样本对它们相关领域很有价值，可以用来改进这些领域中相关模型对相似异常的检测。问题：但是现在又有个问题，因为实际生活中的异常很多，在训练过程中看到的这些异常一般不能说明所有可能的异常类别，这就导致这些模型在对不知到的异常方面没有好的泛化能力（泛化指学习到的模型对未知数据的预测能力）。本文做了什么：本文讨论了开放集监督异常检测，其中我们使用异常样本......
2022-06-24 16:03:07
2955
原创 机器学习整理（几种学习方式的介绍）
监督学习（Supervised learning）、无监督学习（Unsupervised Learning）、半监督学习(Semi-supervised Learning)、自监督学习（Self-supervised Learning）
2022-06-15 17:39:16
133
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人