文章目录
前言
简单记录一下有关谣言检测的基本知识
一、谣言的定义
谣言,学术上所说的谣言指的是未经证实的言论(这和我们普遍意义上理解的,谣言是虚假的信息不同)
二、谣言的分类
谣言通常分为四类:恶搞名人型、制造恐慌型、捣乱取乐型、商业策划型
三、谣言传播公式
谣言=(事件的)重要性×(事件的)模糊性÷公众批判能力
1、网络剪枝(Network Pruning)
实际上我们所训练的模型存在着很多冗余,有很多神经元根本就没有起到作用,所以我们要将这一部分的神经元“剪枝”
- 首先训练一个模型
- 评估神经元或者权重参数的重要性(可以直接比较权重的数值,越接近于零的越不重要)
- 移除不重要的参数
- 用剪枝后的模型继续训练微调,观察剪枝后模型效果,如果模型效果不好或者模型参数仍旧过大,则返回第二步
那么我们为什么不直接训练小模型,因为一般来说小模型比较难以训练,而较大的模型比较好训练。
而对于去掉神经元和去掉权重参数这两种方式,一般来说我呢不会选择去掉权重参数,因为去掉权重参数会导致计算不平衡,也就是权重参数不能构成一个矩阵,这样的情况下实际上并不能提高计算速度也不能减小参数存储空间(存储参数的时候实际上大多是补零存储,所谓的剪枝根本没有起到作用)
2、知识蒸馏(Knowledge Distillation)
![](https://i-blog.csdnimg.cn/blog_migrate/cb46ee7819e2f13ea679b076833b34a7.png#pic_center)
3、参数量化(Parameter Quantization)
我们将参数分组,然后同一组的参数用一个参数表示
![](https://i-blog.csdnimg.cn/blog_migrate/c222c6eabc12af74d4930919819f9ab7.png#pic_center)
4、架构设计(Architecture Design)
![](https://i-blog.csdnimg.cn/blog_migrate/757ae7a1046147f4b42a46a86b0ce947.png#pic_center)
例如:深度可分卷积(Depthwise Separable Convolution)
![](https://i-blog.csdnimg.cn/blog_migrate/946a857627f0d919638b97f47bdff90d.png#pic_center)
5、动态计算(Dynamic Computation)
根据目前的状态(算力是否充足,存储空间是否充足)选择适合的模型或者计算方法
动态计算的方法:
![](https://i-blog.csdnimg.cn/blog_migrate/4826c710e6e352419a253cf80645e430.png#pic_center)
-
训练多个不同计算量的模型,根据需要选择模型(但是会导致所需的存储空间暴增)
-
将不同的中间层接到输出层,根据需要选择计算几个中间层(导致模型效果不好)
总结
简要的介绍了一下谣言相关的知识