【Rust日报】 2019-04-16 : nude-rs - 高性能黄图检测

Rust社区近期发布了多项技术更新,包括ripgrep 11版本的性能改进,nude-rs黄图检测库的高效移植,python-ext-wasm WebAssembly二进制文件运行扩展,ring-channel环形缓冲区上的MPMC管道,以及Xray、image-rs、Rocket Prometheus等项目的最新动态。
摘要由CSDN通过智能技术生成

ripgrep 11 发布

ripgrep 是 Linux 命令行文件内容检索工具 grep 的 rust 实现版本。版本 11 修复了很多 bug,改进了性能,对二进制文件的搜索体验大幅改进。

Read More

nude-rs:高性能黄图检测

是 nude.js 和 nude.py 的移植。看看下面的性能评测:

640?wx_fmt=png

node-js 社区经常引以为傲的性能优越感呢?不过 Rust 为 node 包性能的提升已经做好准备。

此库目前还处于实验阶段。

Read More

python-ext-wasm:用于运行 WebAssembly 二进制文件的 Python 扩展

Wasmerio 出品,之前我们报道过 php-ext-wasm,这个库就是对应的 Python 版本。

主打:

  • 易用

  • 快速

  • 安全

使用

$ pip install wasmer

就可以安装了。

Read More

ring-channel:环形缓冲区之上的无阻塞,bounded MPMC 管道

在 环形缓冲区 ring buffer 上建立一个 MPMC (Multiple Producer Multiple Consumer)通道。

Read More

Xray 死了吗?

Xray 是实验性的下一代基于 Electron 的编辑器的后端,用 rust 写成。但是项目进度好像遇到的问题。于是作者在 reddit 上心急如焚,发了一篇长文,细数了 Xray 的好。希望有人能接手继续开发下去。

Read More

不过有人说好像有已经有人 fork 了。

image-rs 已经从 Piston 组织中独立出来了

image 是图像编解码库(图像处理库),由 piston 组织开发,不过 piston 的其它项目大部分是试水项目,感觉在玩儿。这个 image 库估计是想严肃做一下,故移到专门的组织来做。

Read More

Rocket Prometheus:给 Rocket 应用添加监控

Prometheus(普罗米修斯),在运维界几乎成了应用监控的代名词了,详细定义在这里。本身内容还是蛮多的,运维哥哥深有体会。

这个库应该是给rocket应用加一个metrics接口,这样就可以使用prometheus了

Repo

mesos - 面向 Windows 二进制文件的覆盖率检测工具

不需要修改要检测的可执行二进制文件。它本质上是一个非常快的调试器。借鉴自:kcov

640?wx_fmt=png640?wx_fmt=png

Repo

simsearch-rs:一个简单的模糊搜索工具

就是根据关键词相似度查找结果。搜索引擎必备技能。Tantivy 也能做到。

use simsearch::SimSearch;	

	
let mut engine: SimSearch<u32> = SimSearch::new();	

	
engine.insert(1, "Things Fall Apart");	
engine.insert(2, "The Old Man and the Sea");	
engine.insert(3, "James Joyce");	

	
let results: Vec<u32> = engine.search("thngs");	

	
assert_eq!(results, &[1]);

Read More

「系列文章」for await loops (Part I):无船大神对 await for 语法的思考

有关async/await语法的一个悬而未决的问题是:await的最终语法。到目前为止,关于这个问题已经进行了大量的讨论;该讨论的现状和语言小组内的立场即将推出。本文无船同志这一系列文章将讨论一个影响该决定但尚未被考虑的问题:for循环流程。

目前futures-async-await库中用的语法是这样的:

#[async]	
for elem in stream { ... }

但无船同志认为这个语法与await的作用其实是相似的,这也是JavaScript中使用for await...of语句来创建循环遍历异步可迭代对象的原因:

for await (elem of stream) { ... }

对于Rust中如何设计这种语法呢?这个await是循环语法的一部分(只是for循环这么用)呢,还是单独的语法模式(更加通用)呢?无船倾向于让它成为通用的语法模式。然而目前Rust的类型系统对于后者的表达是有限制的,所以本文将讨论将await作为循环语法的一部分,而下一篇再讨论await作为单独语法模式。

所以,对于await作为for循环的一部分,这个语法设计无船倾向于使用下面这种空格分隔prefix-await的语法(后缀语法类似于是

elem.await这样的表达):

for await? elem in stream { }

下一篇文章将探讨更多。(看看语法设计也挺有意思)

blog

org-rs:Org 模式解析器的 Rust 实现

Org Mode 是 Emacs(神的编辑器)中用于记笔记,维护待做列表,做工程规划等活儿的插件,功能强大,操作快捷,受众广泛,被超多人喜爱。但是只能在 Emacs 中,是个硬伤。所以就有人想把它独立出来用。所以就有了解析器。

现在这个解析的 Rust 版本来了。目前处于早期阶段,可以玩儿了。

Read More


From 日报小组 @Mike

注意:本文链接不可点,请点击左下角“阅读原文”查看原始版本。

使用:网络需要在图像和输出概率(评分0-1)之间过滤不适合工作的图片。评分<0.2表示图像具有较高概率是安全的。评分>0.8表明极有可能是不适合工作(NSFW)图像。我们建议开发者根据用例和图像类型的不同选择合适的阈值。根据使用情况、定义以及公差的不同会产生误差。理想情况下,开发人员应该创建一个评价集,根据“什么是安全的”对他们的应用程序进行定义,然后适合ROC曲线选择一个合适的阈值。结果可以通过微调你的数据/ uscase /定义NSFW的模型的改进。我们不提供任何结果的准确性保证。使用者适度地结合机器学习解决方案将有助于提高性能。模型描述:我们将不适合工作的图片(NSFW)作为数据集中的积极对象,适合工作的图片作为消极对象来进行训练。所有这些被训练得图片都被打上了特定的标签。所以由于数据本身的原因,我们无法发布数据集或者其他信息。我们用非常不错的名字叫“CaffeOnSpark”的架构给“Hadoop”带来深度学习算法,并且使用Spark集群来进行模型训练的实验。在此非常感谢 CaffeOnSpark 团队。深度模型算法首先在 ImageNet 上生成了1000种数据集,之后我们调整不适合工作(NSFW)的数据集比例。我们使用了50 1by2的残差网络生成网络模型。模型通过 pynetbuilder 工具以及复制残余网络的方法会产生50层网络(每层网络只有一半的过滤器)。你可以从这里获取到更多关于模型产生的信息。更深的网络或者具有更多过滤器的网络通常会更精确。我们使用剩余(residual)网络结构来训练模型,这样可以提供恰到好处的精确度,同样模型在运行以及内存上都能保持轻量级。 标签:opennsfw
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值