- 博客(29)
- 问答 (1)
- 收藏
- 关注
RSS订阅
原创 联邦学习后门攻击总结（2019-2022）
联邦学习后门攻击总结（2019-2022）联邦学习安全性问题框架概览下表和下图为联邦学习中常见的安全性问题，本文重点关注模型鲁棒性问题中的后门攻击问题。攻击手段安全性问题攻击方与被攻击方攻击点攻击目的拜占庭攻击模型鲁棒性恶意客户端攻击服务器针对训练数据或针对局部模型投毒无目标攻击，影响全局模型性能后门攻击模型鲁棒性恶意客户端攻击服务器针对训练数据或针对局部模型投毒影响目标子任务的性能推理攻击隐私保护恶意服务器或恶意客户端攻击客户端针对客户端参
2022-03-25 09:30:15
9028
15
原创 吴恩达老师机器学习课程笔记 07 正则化
过拟合是指拟合算法具有高方差，能拟合所有数据，但泛化能力差。一般可以用减少特征的数量或正则化来解决过拟合的问题。正则化项能使得参数尽可能小，从而解决过拟合的问题。本节将梯度下降法和正规方程法推广到了正则化线性回归中。本节将梯度下降法和正规方程法推广到了正则化逻辑回归中。...
2022-07-29 11:00:05
203
1
原创 吴恩达老师机器学习课程笔记 06 逻辑回归
吴恩达老师的视频是2014年的，Octave现在基本不算是最优的编程需要选择了，可以用Pytorch等来代替本节的学习。
2022-07-29 09:39:15
187
原创 吴恩达老师机器学习课程笔记 05 Octave教程
吴恩达老师的视频是2014年的，Octave现在基本不算是最优的编程需要选择了，可以用Pytorch等来代替本节的学习。
2022-07-28 05:03:10
451
1
原创 吴恩达老师机器学习课程笔记 04 多元线性回归
θ0=θ0−a1m∑i=1m(hθ(x(i))−y(i))x0(i)\theta_{0}θ0=θ0−am1∑i=1m(hθ(x(i))−y(i))x0(i)θ1=θ1−a1m∑i=1m(hθ(x(i))−y(i))x1(i)\theta_{1}θ1=θ1。
2022-07-28 04:57:58
440
原创 吴恩达老师机器学习课程笔记 03 线性代数回顾
本节的主要内容有什么是矩阵和向量，矩阵和向量的加、减、乘运算，矩阵的逆和矩阵的转置的概念及性质。如果已经掌握这些，可以跳过本节。（如果已经学过线性代数，本节完全可以跳过。
2022-07-27 11:00:51
195
原创 吴恩达老师机器学习课程笔记 02 单变量线性回归
机器学习起源于AI，通俗来说就是让机器自己学习，目的是为了使得机器更加智能。目前机器学习已经有了非常广泛的应用。机器学习的一种较为正式的定义是一个程序从经验E中学习，解决任务T。用P进行性能度量，通过P测定，程序在解决任务T上表现因经验E而提高。比如对于阿尔法Go，经验E就是程序多次自我练习的经验，任务T就是下棋，性能度量P就是它在与新对手下棋时赢的概率。机器学习的一种定义是一个程序从经验E中学习，解决任务T，用P进行性能度量。通过P测定，程序在解决任务T上表现因经验E而提高。...
2022-07-27 09:22:09
261
原创 吴恩达老师机器学习课程笔记 01 引言
机器学习起源于AI，通俗来说就是让机器自己学习，目的是为了使得机器更加智能。目前机器学习已经有了非常广泛的应用。机器学习的一种较为正式的定义是一个程序从经验E中学习，解决任务T。用P进行性能度量，通过P测定，程序在解决任务T上表现因经验E而提高。比如对于阿尔法Go，经验E就是程序多次自我练习的经验，任务T就是下棋，性能度量P就是它在与新对手下棋时赢的概率。机器学习的一种定义是一个程序从经验E中学习，解决任务T，用P进行性能度量。通过P测定，程序在解决任务T上表现因经验E而提高。...
2022-07-26 04:47:24
112
原创 量子机器学习中的安全性问题
量子计算机器学习（深度学习、联邦学习）差分隐私对抗攻击对目标函数添加噪声对梯度添加噪声对模型输出添加噪声那么类似地，在QML中，也可以通过类似的方式添加噪声，将一些已有的DP方法引入到QML中，从而进行隐私保护。与基于经典ML训练得到的模型类似，基于QML训练得到的量子模型同样容易受到精心构造的对抗样本的攻击，即在合法的输入数据中添加一个精心设计的微小扰动会导致模型在高置信度上做出不正确的预测，这些对抗样本是通过向合法输入的数据添加不可察觉的扰动获得的。上述策略都有各自的优缺点。............
2022-07-22 21:47:15
613
原创 王树尧老师运筹学课程笔记 10 线性规划与单纯形法（关于检测数与退化的讨论）
主要注意的是，在如上图所示的单纯形表中，bbb列和填ai,ja_{i,j}ai,j的列中本质上填的应该是B−1bB^{-1}bB−1b和B−1AB^{-1}AB−1A，只是在之前的情况下中BBB是单位矩阵。检验数的计算方法为σi=ci−cBB−1pi=ci−zi\sigma_{i}=c_{i}-c_{B} B^{-1} p_{i}=c_{i}-z_{i}σi=ci−cBB−1pi=ci−zi。而对于其他教材可能将σi\sigma_{i}σi定义为σi\sigma_{i}σi=zi−ci=z
2022-07-08 12:46:55
1474
1
原创 王树尧老师运筹学课程笔记 08 线性规划与单纯形法（单纯形法）
见教材P28 例2-6。直接观察，然后验证。如果找到的不是基则更换子矩阵重新验证。一般来说可能的基的个数为$C_{n}^{m} ，其中，其中，其中n是未知变量的个数，是未知变量的个数，是未知变量的个数，m是矩阵是矩阵是矩阵A$的秩。由于选基的原则是越简单越好，最好是单位矩阵EEE，便于运算。因此可以先对系数矩阵以及自由项进行初等行变换，最好能够在系数矩阵中变换出对角线上元素均为1的子矩阵，或对角线上元素均为正数的子矩阵，或至少是0较多的子矩阵。这样做一是因为子矩阵越简单，之后的运算量就越少，二是因为如果子矩
2022-07-08 07:07:54
728
4
原创 王树尧老师运筹学课程笔记 07 线性规划与单纯形法（标准型、基、基解、基可行解、可行基）
将约束条件由弱约束变为强约束，将不等式组变为了方程组，降低了求解的难度。对于一般的线性规划问题，容易得到：目标函数max(min)z=c1x1+c2x2+⋯+cnxn\quad \max (\min ) z=c_{1} x_{1}+c_{2} x_{2}+\cdots+c_{n} x_{n}max(min)z=c1x1+c2x2+⋯+cnxn约束条件 {a11x1+a12x2+⋯+a1nxn⩽(=,⩾)b1a21x1+a22x2+⋯+a2nxn⩽(=,⩾)b2⋮am1x1+am2x2+⋯+a
2022-07-08 02:46:56
2686
2
原创 王树尧老师运筹学课程笔记 06 线性规划与单纯形法（几何意义）
图解法有很大局限性，在二维情况下最好用，三维理论上可以，但很难操作，基本不使用。因此，当维度较高时需要使用单纯形法。局限性：当交点数量过多时，计算量过大。由于枚举法的工作量较大，因此采用试点法，即先选择一个点，然后研究其周边的点，如果最开始的点对应的函数值最大或最小，则其为最优解。在某个维度下面数最少或边数最少的线性几何图形。线性规划问题的求解结果有3种：无穷多最优解（多重最优解）、无界解和无解。如果可行域是封闭的则一定有最优解，可能有唯一最优解或无穷多个最优解。如果可行域是无界的，可能在无界处取到无界解，
2022-07-07 07:10:41
1263
原创 王树尧老师运筹学课程笔记 05 线性规划与单纯形法（概念、建模、标准型）
定义：在线性约束条件下，寻找线性目标函数的最优化问题。之所以要将问题化为标准型，主要是为了便于之后使用单纯形等方法进行求解。线性规划数学模型一般有如下形式：目标函数 max(min)z=c1x1+c2x2+⋯+cnxn\quad \max (\min ) z=c_{1} x_{1}+c_{2} x_{2}+\cdots+c_{n} x_{n}max(min)z=c1x1+c2x2+⋯+cnxn满足约束条件 {a11x1+a12x2+⋯+a1nxn⩽(=,⩾)b1a21x1+a22x2+⋯+
2022-07-07 04:08:07
970
1
原创 王树尧老师运筹学课程笔记 04 线性代数基础
线性代数是通过一系列的手段“折腾”方程组，抽取其中的系统信息。解线性方程组（线性方程即未知数的次数是1的方程）。解线性方程组的步骤对于二元线性方程组{a11x1+a12x2=b1a21x1+a22x2=b2\left\{\begin{array}{l}a_{11} x_{1}+a_{12} x_{2}=b_{1} \\ a_{21} x_{1}+a_{22} x_{2}=b_{2}\end{array}\right.{a11x1+a12x2=b1a21x1+a22x2=b2，该方程组的
2022-07-07 01:05:16
870
2
原创 王树尧老师运筹学课程笔记 03 KKT定理
（注意比较Lag乘数法和KKT定理求解过程的不同之处。）注：KKT定理需要要求函数有连续的一阶偏导，但这个前提条件不需要刻意关心，一般都是可以满足的。当使用KKT定理求出一个解时，如果其对应的某个λi∗>0\lambda_i^*>0λi∗>0，则由λi∗∗gi=0\lambda_i^**g_i=0λi∗∗gi=0可得gi=0g_i=0gi=0，即gig_igi退化为了强约束条件，说明该解对应的点恰好落在曲线gi=0g_i=0gi=0上。Lag乘数法和KKT定理虽然是可以解决非线性规划问题的通用方
2022-07-06 20:44:12
1233
1
原创 王树尧老师运筹学课程笔记 02 高等数学基础
最值：函数最值分为函数最小值与函数最大值，最小值即定义域中函数值的最小值，最大值即定义域中函数值的最大值。极值：若 x0x_{0}x0 为极值点，则在 x0x_{0}x0 的邻域内都有 f(x)≥f(x0)f(x) \geq f\left(x_{0}\right)f(x)≥f(x0) 或者 f(x)≤f(x0)f(x) \leq f\left(x_{0}\right)f(x)≤f(x0) 。区别：最值讨论的是整体性，而极值讨论的是局部性。极值不一定是最值，最值也不一定是极值。一个函数在闭区间上的最大
2022-07-06 08:43:11
630
1
原创 王树尧老师运筹学课程笔记 01 导学与绪论
运筹学的目的：寻找一般情况下决策的最优解（最优化问题）运筹学的来源：军事本课程干什么：应用视角高中学习的线性规划是运筹学的一部分，线性规划要求目标函数的线性的，约束条件也是线性的，但运筹学研究的情况则更加一般。同时，线性规划也是一种特殊的非线性规划，也就是说，非线性规划包含线性规划，运筹学包含非线性规划。并且线性规划问题是整个运筹学的核心。用非线性规划问题的处理方法，结合线性代数的数学工具来处理线性规划问题。并且有一些更特殊的处理方法，即仅能处理线性规划问题的方法，如单纯形法。自然定义域：在纯数学背景下，函
2022-07-06 02:04:08
699
2
原创 博客定位说明
为了方便读者快速了解，在这里我想对我的CSDN博客进行一个介绍。我的CSDN博客的所有内容均围绕着AI安全，主要分为基础知识和论文知识。其中基础知识包括数学基础、机器学习基础、编程基础等。论文知识包括联邦学习、对抗攻击、密码学等方向。除此之外等我学到一定程度之后，可能还会有一些路线总结或经验分享之类的博客。当然由于各种原因，目前博客的内容还并不算多，在未来的一段时间里我会持续更新，不断丰富博客内容。同时我的一些视频分享会在Bilibili上分享，如https://www.bilibili.com/vid
2022-07-05 20:36:37
796
原创 期望、方差、协方差性质总结与证明
本文力求涵盖较全面的性质，同时即便是最简单的性质本文也会给出证明。另外本文的内容有大量参考书本和网络上的相关知识，就不再一一列出来源。本文将离散型随机变量简写为DRV（discrete random variable），将连续型随机变量简写为CRV（continuous random variable）。XXX、YYY、X1X_1X1、X2X_2X2表示随机变量，ccc表示常数。本文的无穷符号没有区分正无穷与负无穷，均用∞\infty∞表示，可以根据其在积分号中的位置自行判断。对于常数ccc，E(c)=
2022-07-05 20:24:56
2705
原创 密码学思想与机器学习
本篇文章为组会关于【2020 CRYPTO】Cryptanalytic Extraction of Neural Network Models和【2022 arXiv】Planting Undetectable Backdoors in Machine Learning Models这两篇论文的介绍。讲解视频详见：密码学与机器学习
2022-06-22 18:21:43
1079
1
原创 解决上手使用Colab、Kaggle时遇到的问题
使用Colab、Kaggle时遇到的难解决问题坑的产生为什么会用到这两个网站因为李宏毅老师课后作业的示例代码是在Colab上的，作业的提交是Kaggle上的。遇到的坑点谷歌账户无法正常注册由于Colab是谷歌公司开发的，所以Colab注册需要用谷歌账户，所以说对于Colab其实我是在注册谷歌账户上遇到了问题。而注册到最后一步“验证您的帐号” 输入号码后提示：“此电话号码无法用于进行验证”或者英文提示“This phone number cannot be used for verificati
2022-04-10 11:30:14
4144
9
原创 李宏毅老师2022机器学习课程笔记 03 自注意力机制(Self-Attention)
03 自注意力机制(Self-Attention)更加复杂形式的输入向量序列形式的输入在实际应用中，数据可能会有各种各样的形式，为了将数据作为输入提供给模型训练，可以考虑将其表示为向量序列的形式。比如，在文字处理的场景中，可以将单词表示为向量，将句子看作单词的序列。比如，在语音处理的场景中，可以将一个window大小（比如25ms）的一小段语音表示为一个向量，将完整的语音看作是小段语音的序列。（特别说明的是，根据经验每一小段语音之间是有重叠的，即窗口每次移动的时候，移动的大小是可以小于窗口大小的，
2022-04-04 22:14:48
4310
2
原创 李宏毅老师2022机器学习课程笔记 02 卷积神经网络(CNN)
02 卷积神经网络(CNN)CNN介绍上图是CNN的完整结构图，先放在这里，下面会以图像分类任务为例，逐步对其进行介绍。CNN的设计动机CNN是专门为图像设计的网络结构，结合了许多图像才会有的特性。CNN在图像分类中的使用基本结构信息输入CNN的输入一般的图片，且图片一般是一个三维的张量，包括图片的宽、图片的高和图片的信道数。图片的宽和高之积即为图片的像素数目，如果图片是彩色图片，那么有RGB三个信道，如果是黑白图片则只有一个信道，相当于此时图片退化为二维的矩阵。有一个很普遍的前提假设是
2022-04-03 17:42:12
4588
4
原创 李宏毅老师2022机器学习课程笔记 01 Introduction of Deep Learning
01 Introductionof Deep Learning机器学习相关规定什么是机器学习机器学习的概念我觉得李老师讲得非常好的一点就是，他真正说清楚了机器学习中的一些因果逻辑。比如我之前在网络上查阅过一些资料，他们在介绍机器学习时，很多时候上来就说机器学习“是机器学习过去的经验”、“模仿人类学习”等等，但是看了这些解释之后对机器学习是什么还是没有一个清晰的概念。按照我个人对李老师课程的理解，这个的因果关系是有些问题的，可能在最初设计这些模型的时候，学者门只是从数学的角度，探索一种解决问题的方法
2022-04-02 11:51:14
2108
3
空空如也
请问差分隐私的学习路线是怎样的
2022-07-22
TA创建的收藏夹 TA关注的收藏夹
TA关注的人