图像鉴黄的数据集及相关算法汇总

前方高能预警,非战斗人士请火速撤离……

数据集1:https://github.com/EBazarov/nsfw_data_source_urls/tree/master/raw_data

在 raw_data 文件夹里,可以找到不同的 .txt 格式的文档,每个文档都含有一组 URL,以下是关于该数据集的一些统计信息:

159个 不同的类别
158.9331 万个 URL
下载并清洗后大约有 500GB,或者说有 130 万张 NSFW 图像

数据集2https://github.com/alex000kim/nsfw_data_scraper

主要五大类
在这里插入图片描述
比较成熟的模型:

项目1:
在这里插入图片描述

项目地址:https://github.com/infinitered/nsfwjs

网页测试地址:https://nsfwjs.com/

该模型主要包括五大标签:

绘画(Drawing):无害的艺术,或艺术绘画。

变态(Hentai):色情艺术,不适合大多数工作环境下观看。

中立(Neutral):一般,无害的内容。

色情(Porn):不雅的内容和行为,通常涉及生殖器。

性感(Sexy):不合时宜的挑衅内容。

项目2:
在这里插入图片描述
项目地址 :https://github.com/devzwy/open_nsfw_android

该项目支持色情图片离线识别(离线鉴黄),基于TensorFlow实现。识别只需200ms,可断网测试,成功率99%,调用只要一行代码,从雅虎的开源项目open_nsfw移植,tflite(6M)为训练好的模型(已量化),该模型文件可用于iOS、java、C++等平台,Python使用生成的tfLite文件检测图片的速度远远快于实用原模型。

项目3:
在这里插入图片描述
项目地址:https://github.com/yahoo/open_nsfw

项目更多介绍:https://yahooeng.tumblr.com/post/151148689421/open-sourcing-a-deep-learning-solution-for

该项目是由雅虎开源,自动识别图像(包括令人讨厌的图像和成人图像)不适合(SFW)/不适合工作(NSFW)。雅虎建议大家在使用时选择自己的阈值,因为应用场景和对 NSFW 标准的理解可能会有差异,所以开发人员最好根据自己应用对 NSFW 的定义来设定评估值。

关于更多视频/图片鉴黄有哪些算法和开源库参考:
1.视频/图片鉴黄开源库
2.图像鉴黄算法综述

  • 4
    点赞
  • 20
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
使用:网络需要在图像和输出概率(评分0-1)之间过滤不适合工作的图片。评分<0.2表示图像具有较高概率是安全的。评分>0.8表明极有可能是不适合工作(NSFW)图像。我们建议开发者根据用例和图像类型的不同选择合适的阈值。根据使用情况、定义以及公差的不同会产生误差。理想情况下,开发人员应该创建一个评价集,根据“什么是安全的”对他们的应用程序进行定义,然后适合ROC曲线选择一个合适的阈值。结果可以通过微调你的数据/ uscase /定义NSFW的模型的改进。我们不提供任何结果的准确性保证。使用者适度地结合机器学习解决方案将有助于提高性能。模型描述:我们将不适合工作的图片(NSFW)作为数据集中的积极对象,适合工作的图片作为消极对象来进行训练。所有这些被训练得图片都被打上了特定的标签。所以由于数据本身的原因,我们无法发布数据集或者其他信息。我们用非常不错的名字叫“CaffeOnSpark”的架构给“Hadoop”带来深度学习算法,并且使用Spark集群来进行模型训练的实验。在此非常感谢 CaffeOnSpark 团队。深度模型算法首先在 ImageNet 上生成了1000种数据集,之后我们调整不适合工作(NSFW)的数据集比例。我们使用了50 1by2的残差网络生成网络模型。模型通过 pynetbuilder 工具以及复制残余网络的方法会产生50层网络(每层网络只有一半的过滤器)。你可以从这里获取到更多关于模型产生的信息。更深的网络或者具有更多过滤器的网络通常会更精确。我们使用剩余(residual)网络结构来训练模型,这样可以提供恰到好处的精确度,同样模型在运行以及内存上都能保持轻量级。 标签:opennsfw

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值