数据处理
文章平均质量分 80
摸鱼的机器猫
这个作者很懒,什么都没留下…
展开
-
数据处理四 基于图像hash进行数据整理(删除重复图片、基于模版查找图片)
哈希相似度算法(Hash algorithm),它的作用是对每张图片生成一个固定位数的Hash 值(指纹 fingerprint)字符串,然后比较不同图片的指纹,结果越接近,就说明图片越相似。图像Hash算法准确的说有三种,分别为平均哈希算法(aHash)、感知哈希算法你(pHash)和差异哈哈希算法(dHash)。`图像hash与上文中描述的hash算法目的不同,图像hash主要可用于判断或查找相似的图片,我们要尽可能的是图像hash值具有意义,与内容相关。`他应当具备以下特点:* 1、高效计算,能原创 2024-01-06 22:58:14 · 1338 阅读 · 0 评论 -
数据处理三 数据类别平衡(难易样本平衡)
在使用paddlseg进行训练时常常会出现针对于某一类数据预测效果不佳,这些样本通常被称为难样本。在设计loss时可以使用FocalLoss与BootstrappedCrossEntropyLoss作用损失函数进行训练,也可以自行对难样本进行过采样然后再进行训练。增强了难样本的频率,则在一个epoch中增加了难样本的迭代次数,使模型在训练过程中学习到更多的难样本特征。原创 2023-12-07 22:02:30 · 453 阅读 · 0 评论 -
数据处理二 模型预测结果转json标注
在进行深度学习过程中,数据标注是一个繁琐的工作。我们可以借鉴半监督学习的思路,将数据划分为两部分,对少量数据进行人工标注,然后基于此训练模型。有预训练模型后,可以对剩余的未标注图像进行预测。预训练模型的性能可能不是很准,部分结果需要进行调整。原创 2023-11-27 22:44:30 · 968 阅读 · 0 评论 -
数据处理一 使用python对文本形式数据进行处理
以下数据是深度相机拍摄的点云数据,其为为n行6列的文本数据,分别对应x、y、z、r、g、b,列与列之间用‘→’分割。list2str函数通过遍历数据将二维数组转化为字符串,其中需要注意的是float型的数组要转换为str型的数组才能进行数组转字符串操作。该过程需要我们自己写函数完成数据的解析,数据的修改和数据的保存。由于数据有固定统一的格式,可以直接使用numpy库里的函数进行文本数据的读写,该方式最为简单。以下代码使用原始的python操作进行数据解析,将文本格式的数据转为二维数组。原创 2023-11-13 12:59:10 · 79 阅读 · 0 评论