信息论安全：Renyi熵与散度（Renyi divergence）

最新推荐文章于 2024-07-20 22:27:15 发布

程序员小强_

最新推荐文章于 2024-07-20 22:27:15 发布

阅读量329

点赞数 5

文章标签：安全

本文链接：https://blog.csdn.net/dzqxwzoe/article/details/140120550

版权

一.基础概念

二. 论文常用的Renyi散度结论

性质1：对分布进行确定的函数变换，只会降低Renyi散度。

性质2：可忽略性质的传递（计算复杂性理论）

性质3：Renyi散度与离散的高斯分布（格密码中的概念）

有关Renyi散度的基本介绍挺多博客已经写了。本文章主要介绍最基础的概念，以及近些年论文中为啥老喜欢引用这个概念。

Renyi散度起源于Renyi熵，与香农熵类似，都是用来衡量不确定性的。其中Renyi是人名，主要是为了纪念：

一.基础概念

Renyi熵的形式化定义如下：

$H_\alpha(X)=\frac{1}{1-\alpha}log_2(\sum_{i=1}nP_i\alpha)$

其中 $\alpha$ 代表阶数，通常为正整数，取决于定义。 $P_i$ 代表第i个事件的概率。

Renyi散度主要是描述两个分布之间的关系。对一个离散的概率分布X，其定义域记作 $Supp(X)$ ，其实就是概率不为零的点的集合。形式化的定义如下：

Let $X(E)$ denote the probability
that event E occurs under distribution χ. We let $Supp(X)=\lbrace x:X(x)\neq0\rbrace$

对于两个离散的概率分布P和Q，假定 $Supp(P)\subset Supp(Q)$ （其实就是Q的取值更多），2阶Renyi散度定义如下：

$RD_2(P||Q)=\sum_{x\in Supp(P)}\frac{P(x)^2}{Q(x)}$

二. 论文常用的Renyi散度结论

性质1：对分布进行确定的函数变换，只会降低Renyi散度。

对于两个离散的概率分布P和Q，假定 $Supp(P)\subset Supp(Q)$ ，对任意给定的函数f，都有：

$RD_2(f(P)||f(Q))\leq RD_2(P||Q)$

性质2：可忽略性质的传递（计算复杂性理论）

对于两个离散的概率分布P和Q，假定 $Supp(P)\subset Supp(Q)$ ，从分布Q中取子事件 $E\subset Supp(Q)$ ，都有：

$Q(E)\geq P(E)^2/RD_2(P||Q)$

这个性质其实在密码学中很有用，为啥这么讲呢。如果可以证明 $RD_2(P||Q)$ 的上界为多项式。那么当事件E在分布Q中发生的概率 $Q(E)$ 可忽略，就可以推出事件E在分布P中发生的概率也可忽略。

性质3：Renyi散度与离散的高斯分布（格密码中的概念）

接触过格密码（参考我之前介绍过格密码）的人可能见过一个符号 $D_{Z_q,\sigma}^m$ ，这个符号啥意思呢？D代表离散的高斯分布， $Z_q$ 代表该高斯分布的取值全为整数模q， $\sigma$ 代表离散高斯分布的标准差，m代表维度，也就是：

$D_{Z_q,\sigma}^m$ ：关于原点对称的m维离散高斯分布

给一个不太大的数e，那么：

$(e+D_{Z_q,\sigma})^m$ ：中心点略微偏移原点的m维离散高斯分布。

好了，现在可以解释第三个性质了。

固定三个整数 $m,q,\lambda\in Z$ ，有一个上限值 $\beta_{Renyi}$ ，离散高斯分布的标准差满足 $\beta_{Renyi}\leq\sigma\leq q$ 。令 $e\in Z$ ，且满足 $|e|\leq \beta_{Renyi}$ ，那么有：

$RD_2((e+D_{Z_q,\sigma})m||D_{Z_q,\sigma}m)\leq exp(2\pi m(\beta_{Renyi/\sigma})^2)$

这个性质看起来有点长，其实是想解释把离散高斯分布平移一点点后，该分布与原始的离散高斯分布的Renyi散度是有上界的。密码学非常关注多项式，指数，次指数等复杂度，利用该定理，比如令离散高斯分布的标准差 $\sigma=\Omega(\beta_{Renyi}\sqrt{m/log\lambda})$ 时，可得 $RD_2((e+D_{Z_q,\sigma})m||D_{Z_q,\sigma}m)=poly(\lambda)$ 。这其中的数学计算就暂时省掉了，密码学总是有许多的数学计算。。。。。

题外话

初入计算机行业的人或者大学计算机相关专业毕业生，很多因缺少实战经验，就业处处碰壁。下面我们来看两组数据：

2023届全国高校毕业生预计达到1158万人，就业形势严峻；

国家网络安全宣传周公布的数据显示，到2027年我国网络安全人员缺口将达327万。

一方面是每年应届毕业生就业形势严峻，一方面是网络安全人才百万缺口。

6月9日，麦可思研究2023年版就业蓝皮书（包括《2023年中国本科生就业报告》《2023年中国高职生就业报告》）正式发布。

2022届大学毕业生月收入较高的前10个专业

本科计算机类、高职自动化类专业月收入较高。2022届本科计算机类、高职自动化类专业月收入分别为6863元、5339元。其中，本科计算机类专业起薪与2021届基本持平，高职自动化类月收入增长明显，2022届反超铁道运输类专业（5295元）排在第一位。

具体看专业，2022届本科月收入较高的专业是信息安全（7579元）。对比2018届，电子科学与技术、自动化等与人工智能相关的本科专业表现不俗，较五年前起薪涨幅均达到了19%。数据科学与大数据技术虽是近年新增专业但表现亮眼，已跻身2022届本科毕业生毕业半年后月收入较高专业前三。五年前唯一进入本科高薪榜前10的人文社科类专业——法语已退出前10之列。

“没有网络安全就没有国家安全”。当前，网络安全已被提升到国家战略的高度，成为影响国家安全、社会稳定至关重要的因素之一。

网络安全行业特点

1、就业薪资非常高，涨薪快 2022年猎聘网发布网络安全行业就业薪资行业最高人均33.77万！

2、人才缺口大，就业机会多

2019年9月18日《中华人民共和国中央人民政府》官方网站发表：我国网络空间安全人才需求140万人，而全国各大学校每年培养的人员不到1.5W人。猎聘网《2021年上半年网络安全报告》预测2027年网安人才需求300W，现在从事网络安全行业的从业人员只有10W人。

行业发展空间大，岗位非常多

网络安全行业产业以来，随即新增加了几十个网络安全行业岗位︰网络安全专家、网络安全分析师、安全咨询师、网络安全工程师、安全架构师、安全运维工程师、渗透工程师、信息安全管理员、数据安全工程师、网络安全运营工程师、网络安全应急响应工程师、数据鉴定师、网络安全产品经理、网络安全服务工程师、网络安全培训师、网络安全审计员、威胁情报分析工程师、灾难恢复专业人员、实战攻防专业人员…

职业增值潜力大

网络安全专业具有很强的技术特性，尤其是掌握工作中的核心网络架构、安全技术，在职业发展上具有不可替代的竞争优势。

随着个人能力的不断提升，所从事工作的职业价值也会随着自身经验的丰富以及项目运作的成熟，升值空间一路看涨，这也是为什么受大家欢迎的主要原因。

从某种程度来讲，在网络安全领域，跟医生职业一样，越老越吃香，因为技术愈加成熟，自然工作会受到重视，升职加薪则是水到渠成之事。

黑客&网络安全如何学习

今天只要你给我的文章点赞，我私藏的网安学习资料一样免费共享给你们，来看看有哪些东西。

1.学习路线图

行业发展空间大，岗位非常多

职业增值潜力大

网络安全专业具有很强的技术特性，尤其是掌握工作中的核心网络架构、安全技术，在职业发展上具有不可替代的竞争优势。

从某种程度来讲，在网络安全领域，跟医生职业一样，越老越吃香，因为技术愈加成熟，自然工作会受到重视，升职加薪则是水到渠成之事。

黑客&网络安全如何学习

今天只要你给我的文章点赞，我私藏的网安学习资料一样免费共享给你们，来看看有哪些东西。

1.学习路线图

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

攻击和防守要学的东西也不少，具体要学的东西我都写在了上面的路线图，如果你能学完它们，你去就业和接私活完全没有问题。

2.视频教程

网上虽然也有很多的学习资源，但基本上都残缺不全的，这是我自己录的网安视频教程，上面路线图的每一个知识点，我都有配套的视频讲解。

内容涵盖了网络安全法学习、网络安全运营等保测评、渗透测试基础、漏洞详解、计算机基础知识等，都是网络安全入门必知必会的学习内容。

3.技术文档和电子书

技术文档也是我自己整理的，包括我参加大型网安行动、CTF和挖SRC漏洞的经验和技术要点，电子书也有200多本，由于内容的敏感性，我就不一一展示了。

4.工具包、面试题和源码

“工欲善其事必先利其器”我为大家总结出了最受欢迎的几十款款黑客工具。涉及范围主要集中在信息收集、Android黑客工具、自动化工具、网络钓鱼等，感兴趣的同学不容错过。

还有我视频里讲的案例源码和对应的工具包，需要的话也可以拿走。

这些题目都是大家在面试深信服、奇安信、腾讯或者其它大厂面试时经常遇到的，如果大家有好的题目或者好的见解欢迎分享。

参考解析：深信服官网、奇安信官网、Freebuf、csdn等

内容特点：条理清晰，含图像化表示更加易懂。

内容概要：包括内网、操作系统、协议、渗透测试、安服、漏洞、注入、XSS、CSRF、SSRF、文件上传、文件下载、文件包含、XXE、逻辑漏洞、工具、SQLmap、NMAP、BP、MSF…

因篇幅有限，仅展示部分资料，需要点击下方链接即可前往获取

如果你对网络安全入门感兴趣，那么你需要的话可以点击这里👉网络安全重磅福利：入门&进阶全套282G学习资源包免费分享！

程序员小强_

关注

5
点赞
踩
5

收藏

觉得还不错? 一键收藏
0
评论
信息论安全：Renyi熵与散度（Renyi divergence）

一.基础概念二. 论文常用的Renyi散度结论性质1：对分布进行确定的函数变换，只会降低Renyi散度。性质2：可忽略性质的传递（计算复杂性理论）性质3：Renyi散度与离散的高斯分布（格密码中的概念）有关Renyi散度的基本介绍挺多博客已经写了。本文章主要介绍最基础的概念，以及近些年论文中为啥老喜欢引用这个概念。Renyi散度起源于Renyi熵，与香农熵类似，都是用来衡量不确定性的。
复制链接

扫一扫