Hadoop及其生态圈（详细）

最新推荐文章于 2025-04-15 20:17:46 发布
最新推荐文章于 2025-04-15 20:17:46 发布
阅读量5.4k 收藏 20
点赞数 7
分类专栏： hadoop 文章标签： hadoop 分布式 大数据 数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hua_ge_zui_liang/article/details/107157404
版权

本文目录

Hadoop概述

什么是Hadoop？

    Hadoop是Apache基金会旗下的一个分布式系统基础架构。
    主要包括分布式文件系统HDFS、分布式计算系统MapReduce和分布式资源管理系统YARN。

Hadoop生态圈

1、概述

    狭义的Hadoop：是一个适合大数据分布式存储和分布式计算的平台，包括HDFS、MapReduce和YARN。
    广义的Hadoop：指以Hadoop为基础的生态圈，是一个很庞大的体系，Hadoop只是其中最重要、最基础的一部分；生态圈中的每个子系统只负责解决某一个特定的问题域（甚至可能更窄），它并不是一个全能系统，而是多个小而精的系统。Hadoop生态圈的主要构成如下图：
在这里插入图片描述

2、HDFS

最低0.47元/天 解锁文章
YOLOv12改进策略【损失函数篇】| NWD损失函数，提高小目标检测精度
Limiiiing的博客
03-11 463
本文记录的是基于NWD的YOLOv12的损失函数改进方法研究。目前的IoU-Loss在一些情况下不能提供梯度来优化网络，例如当预测边界框P和真实边界框G没有重叠（即∣P∩G∣0），或者P完全包含G或反之（即∣P∩G∣P或G），而这两种情况在微小物体检测中非常常见。CIoU和DIoU虽然能处理上述两种情况，但它们基于IoU，对微小物体的位置偏差很敏感。而。
YOLOv5改进实战 | 更换损失函数（四）之NWD（小目标检测）篇
w94ghz的博客
10-01 1万+
YOLOv8损失函数改进：SlideLoss与FocalLoss的性能提升分析
最新发布
shrgegrb的博客
04-15 1099
在YOLOv8中，损失函数的设计是多任务学习的核心。分类损失（Classification Loss）：用于目标类别的预测。边界框回归损失（Box Regression Loss）：用于边界框的定位。物体置信度损失（Object Confidence Loss）：用于判断边界框内是否包含目标。这些损失函数共同作用，使得YOLOv8在速度和精度上都达到了一个新的高度。YOLOv8的损失函数改进是其性能提升的重要原因之一。
YOLOv10改进策略【小目标改进】| Shape-NWD：融合改进，结合Shape-IoU和NWD 更好地适应小目标特性
Limiiiing的博客
11-08 683
Bw−wgt2h−hgt2weight2Bweight2w−wgt​2h−hgt​2​其中weight2weight = 2weight2。
【YOLOv8改进- 损失函数】 NWD（Normalized Wasserstein Distance：归一化 Wasserstein 距离），助力微小目标检测。
热门推荐
专注于图像领域，主要研究内容包括计算机视觉和深度学习，特别是在图像分类、目标检测和图像生成等方面有深入的研究和实践经验。
08-30 1万+
【YOLOv8改进- 损失函数】 NWD（Normalized Wasserstein Distance：归一化 Wasserstein 距离），助力微小目标检测。
芒果YOLOv8改进组合156：动态标签分配ATSS + 损失函数NWDLoss组合改进，共同助力VisDrone小目标检测高效涨点
包括YOLOv5、YOLOv7、YOLOv8等模型改进
04-06 1394
YOLOv8代码｜ATSS标签分配策略改进 + 损失函数NWDLoss组合改进🥭
YOLOv9改进策略【损失函数篇】| NWD损失函数，提高小目标检测精度
Limiiiing的博客
09-25 1229
本文记录的是基于NWD的YOLOv9的损失函数改进方法研究。目前的IoU-Loss在一些情况下不能提供梯度来优化网络，例如当预测边界框P和真实边界框G没有重叠（即∣P∩G∣0），或者P完全包含G或反之（即∣P∩G∣P或G），而这两种情况在微小物体检测中非常常见。CIoU和DIoU虽然能处理上述两种情况，但它们基于IoU，对微小物体的位置偏差很敏感。而。
RT-DETR 更换损失函数之 SIoU / EIoU / WIoU / Focal_xIoU
YOLOv8项目贡献者
11-26 1984
RT-DETR 更换IoU损失指南。
YOLO改进：【损失函数篇】提高小目标检测精度——Normalized Wasserstein Distance (NWD)损失函数
qq_36070656的博客
10-18 1万+
NWD损失函数助力小目标检测
YOLOv10全网最新创新点改进系列：提高小目标检测精度——Normalized Wasserstein Distance (NWD)损失函数，有效涨点！！嘎嘎开门！！！
B站 Ai学术叫叫兽的文案地
09-23 2562
YOLOv10全网最新创新点改进系列：提高小目标检测精度——Normalized Wasserstein Distance (NWD)损失函数，有效涨点！！嘎嘎开门！！！
YOLOv9改进策略【损失函数篇】| 通过辅助边界框计算IoU提升检测效果(Inner_GIoU、Inner_DIoU、Inner_CIoU、Inner_EIoU、Inner_SIoU)
Limiiiing的博客
09-20 1052
为了弥补现有 IoU 损失在不同检测任务中泛化性弱和收敛速度慢的问题，·Inner-IoU·通过引入比例因子 “ratio” 来控制辅助边界框的尺度大小，利用不同尺度的辅助边界框来计算损失，从而加速边界框回归过程。
YOLOv11改进策略【损失函数篇】| NWD损失函数，提高小目标检测精度
Limiiiing的博客
10-10 3584
本文记录的是基于NWD的YOLOv11的损失函数改进方法研究。目前的IoU-Loss在一些情况下不能提供梯度来优化网络，例如当预测边界框P和真实边界框G没有重叠（即∣P∩G∣0），或者P完全包含G或反之（即∣P∩G∣P或G），而这两种情况在微小物体检测中非常常见。CIoU和DIoU虽然能处理上述两种情况，但它们基于IoU，对微小物体的位置偏差很敏感。而。
YOLOv8改进实战 | IoU篇 | 更换损失函数之 NWD（Normalized Wasserstein Distance），提升小目标检测精度
w94ghz的博客
09-04 2519
YOLOv10改进策略【损失函数篇】| NWD损失函数，提高小目标检测精度
Limiiiing的博客
11-08 760
本文记录的是基于NWD的YOLOv10的损失函数改进方法研究。目前的IoU-Loss在一些情况下不能提供梯度来优化网络，例如当预测边界框P和真实边界框G没有重叠（即∣P∩G∣0），或者P完全包含G或反之（即∣P∩G∣P或G），而这两种情况在微小物体检测中非常常见。CIoU和DIoU虽然能处理上述两种情况，但它们基于IoU，对微小物体的位置偏差很敏感。而。
论文《NWD》和YOLOv8中的实现提升小目标检测A Normalized Gaussian Wasserstein Distance for Tiny Object Detection
记录图像处理中遇到的点点滴滴
12-28 1111
对小目标检测的损失优化思路和代码复现、和A Normalized Gaussian Wasserstein Distance for Tiny Object Detection论文的理解
YOLOv8模型改进——修改损失函数
qq_60131119的博客
03-07 927
【代码】YOLOv8模型改进——修改损失函数。
YOLOV7改进-针对小目标的NWD(损失函数)
毕竟是Shy哥
09-08 2862
7、iou_ration是超参，可以调，如果小目标比较多的话，这个值可以低一些，从而增加nwd损失的比例。3、把这几行复制到utiils的loss.py。4、先对CoputerLoss类做修改。2、utils-loss，这里加。5、把那一行替换成这个。8、还有一个部分要改。9、这个box也要改。
【RT-DETR有效改进】SIoU、GIoU、CIoU、DIoU、WIoU等多种损失函数
Snu77的博客
11-28 3420
这篇文章介绍了RT-DETR的重大改进，特别是在损失函数方面的创新。它不仅包括了多种IoU损失函数的改进和变体，如SIoU、WIoU、GIoU、DIoU、EIOU、CIoU，还融合了“Focus”思想，创造了一系列新的损失函数。这些组合形式的损失函数超过了二十余种，每种都针对特定的目标检测挑战进行优化。文章会详细探讨这些损失函数如何提高RT-DETR在各种检测任务中的性能，包括提升精度、加快收敛速度和增强模型对复杂场景的适应性。
RT-DETR算法改进：更换损失函数SIoU损失函数，更强大的边界框回归学习，提升RT-DETR检测精度
包括YOLOv5、YOLOv7、YOLOv8等模型改进
11-13 744
RT-DETR算法改进｜使用SIoU损失函数
yolo 损失函数改进
03-11
<think>好的，用户想了解YOLO损失函数的改进方法和优化，特别是在目标检测中的应用。首先，我需要回忆YOLO各个版本的损失函数演变，以及常见的改进策略。YOLOv1的损失函数包括坐标误差、置信度误差和分类误差，但可能存在定位不够精确的问题。然后YOLOv2和v3引入了锚框，调整了损失计算方式，比如使用二元交叉熵代替softmax。接着，YOLOv4和v5可能加入了CIoU损失函数，解决边界框重叠和尺度敏感的问题。 用户可能需要知道具体的改进点，比如IoU变种（GIoU、DIoU、CIoU）、平衡不同损失项、处理类别不平衡等。此外，焦点损失（Focal Loss）也是优化方向之一，尤其是在处理难易样本不均衡时。还要考虑损失函数的计算效率，比如简化某些部分以提升速度，同时保持准确性。 需要检查是否有混淆不同版本YOLO的情况，比如YOLOv1到v8之间的变化。另外，用户可能对实际应用中的优化技巧感兴趣，比如数据增强对损失函数的影响，或者如何调整超参数来平衡各项损失。还要注意引用相关文献，比如提到CIoU的论文，确保信息的准确性。最后，生成相关问题时，要涵盖损失函数设计、平衡方法、评估指标影响、类别不平衡处理以及与其他技术的结合等方面。</think># YOLO损失函数改进方法解析 ## 一、基础损失函数结构 YOLO系列目标检测算法的损失函数通常包含三个核心部分： $$Loss = \lambda_{coord}\sum_{i=0}^{S^2}\sum_{j=0}^{B}l_{ij}^{obj}(x_i-\hat{x}_i)^2 + \lambda_{obj}\sum_{i=0}^{S^2}\sum_{j=0}^{B}l_{ij}^{obj}(C_i-\hat{C}_i)^2 + \lambda_{noobj}\sum_{i=0}^{S^2}\sum_{j=0}^{B}l_{ij}^{noobj}(C_i-\hat{C}_i)^2 + \sum_{i=0}^{S^2}l_i^{obj}\sum_{c\in classes}(p_i(c)-\hat{p}_i(c))^2$$ 早期YOLO版本使用均方误差直接计算边界框偏移量，这种方法存在梯度方向不明确的问题。后续改进通过引入交并比相关指标优化定位精度[^1]。 ## 二、核心改进方向 ### 2.1 边界框回归优化 - **IoU系列改进**： - GIoU：解决无重叠边界框梯度消失问题 $$GIoU = IoU - \frac{|C - B \cup B^{gt}|}{|C|}$$ - DIoU：增加中心点距离惩罚项 $$DIoU = IoU - \frac{\rho^2(b,b^{gt})}{c^2}$$ - CIoU：综合长宽比一致性 $$CIoU = IoU - \frac{\rho^2(b,b^{gt})}{c^2} - \alpha v$$ ### 2.2 置信度预测改进 ```python # 改进后的置信度损失计算示例 def confidence_loss(pred_conf, gt_conf): focal_weight = torch.where(gt_conf > 0, alpha*(1-pred_conf)**gamma, (1-alpha)*pred_conf**gamma) return focal_weight * F.binary_cross_entropy(pred_conf, gt_conf, reduction='none') ``` ### 2.3 类别预测优化 使用标签平滑技术： $$q_i = (1-\epsilon)\delta_{i,y} + \epsilon/K$$ ## 三、进阶优化策略 1. **动态权重调整**：根据训练阶段自动平衡分类/定位损失 2. **困难样本挖掘**：对预测误差大的样本施加更高权重 3. **跨尺度预测融合**：在不同特征层间建立损失关联 ## 四、最新发展趋势 YOLOv8引入的分布焦点损失（DFL）： $$DFL(S_i, S_j) = -\sum_{y=0}^{n}((S_j - y)\log(S_i) + (y - S_i)\log(S_j))$$ 通过离散化建模边界框分布，提升定位精度[^1]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值