几种流行的神经网络形式化验证器的比较

截止到2021年8月,国际上最优秀的几种神经网络形式化验证器:

工具名称适用网络特点优点缺陷文献名称及出版时间
Venus基于ReLU的前馈神经网络- 基于MILP求解器
- 支持生成反例
利用ReLU节点之间依赖关系,修剪基于MILP公式的验证问题的搜索树,大大缩短的验证过程的时间只能应用于ReLU激活函数的神经网络Efficient Verification of ReLU-based Neural Networks via Dependency Analysis, 2020
Marabou全连接神经网络和卷积神经网络- 基于SMT求解器,前身是Reluplex
- 支持生成反例
可以通过将查询转换为约束满足问题来回答关于网络属性的查询。它可以适应具有不同激活函数和拓扑结构的网络,并在网络上减少搜索空间,提高性能只支持分段线性激活函数The Marabou Framework for Verification and Analysis of Deep Neural Networks, 2019
Neurify全连接神经网络和卷积神经网络- 基于符号线性松弛和有向约束细化,在ReluVal上做出改进
- 支持生成反例
速度快,可以支持大型网络,生成反例的速度快只针对ReLU激活函数进行讨论Efficient Formal Safety Analysis of Neural Networks, 2018
NSVerify基于ReLU的前馈神经网络- 基于MILP求解器
- 把前馈神经网络表示成一个由agent和environment组成的系统
- 支持生成反例
建立了一种agent-environment系统的模型,其中agent是一组动作函数集合,environment是一组状态的集合。提供了一种语义,并开发了一种方法来自动验证系统在运行过程中是否达到了非预期的状态只支持ReLU激活函数Reachability Analysis for Neural Agent-Environment Systems, 2018
AI²基于ReLU的前馈神经网络和卷积神经网络- 基于抽象解释
- 支持生成反例
用一组带条件的仿射函数来建模基于ReLU的神经网络,可以刻画神经网络中的全连接层、卷积层和最大池化层结构。只支持ReLU激活函数AI²: Safety and Robustness Certification of Neural Networks with Abstract Interpretation, 2018
  • 0
    点赞
  • 9
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
使用卷积神经网络(Convolutional Neural Network, CNN)可以提高精度的方法有很多。下面是几种常见的方法: 1. 增加网络深度:通过增加卷积层和池化层的数量,可以增加网络的复杂性和表示能力,从而提高精度。然而,过深的网络可能导致梯度消失或爆炸问题,因此需要合理选择网络的深度。 2. 使用更小的卷积核:通过使用更小的卷积核,可以增加网络的感受野,并且可以减少模型中的参数数量。较小的卷积核可以提取更细粒度的特征,从而提高分类性能。 3. 添加正则化技术:为了减少过拟合,可以在CNN中添加正则化技术,如L1或L2正则化、Dropout等。这些技术可以帮助提高模型的泛化能力,并防止模型过度拟合训练数据。 4. 使用预训练模型或迁移学习:可以使用在大规模数据集上预训练好的模型作为初始权重,在具体任务上进行微调。这样可以借助预训练模型学到的通用特征来提高分类性能。 5. 数据增强:通过对训练数据进行随机的变换和扩充,如平移、旋转、缩放、翻转等操作,可以增加模型对不同变换形式的鲁棒性,提高模型的泛化能力。 6. 超参数调优:对于CNN中的超参数,如学习率、批大小、优化等,可以通过交叉验证或网格搜索等方法进行调优,以获得更好的性能。 这些方法并非绝对,具体的提高精度方法还需要根据具体问题和数据集的特点进行调整和优化。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值