- 博客(18)
- 收藏
- 关注
RSS订阅原创 Hessian-向量积
Hessian矩阵描述了损失函数的二阶导数信息，对于优化问题中的二阶方法（如牛顿法）非常重要。它的计算涉及对损失函数进行二次求导。这在高维度的参数空间中是非常昂贵的，特别是在参数维度很大时。
2024-07-21 19:41:32
774
原创 随机变量向量和的范数平方的期望等于各随机变量向量范数平方期望的和
这个结论在随机优化、机器学习和其他统计领域中非常有用，特别是当我们处理多个随机变量的和，并需要了解其范数平方的期望时。这个引理表述了在一定条件下，随机变量向量和的欧几里得范数平方的期望等于各随机变量向量范数平方期望的和。
2024-07-09 22:03:00
828
原创 差分隐私中的噪声添加
在差分隐私的训练过程中，噪声的添加是根据隐私预算进行的。通过合理分配隐私预算ϵ到每次迭代，并在每次迭代中添加适当的噪声，可以在保护数据隐私的同时，确保模型训练的有效性。这种方法平衡了数据隐私和模型性能，确保总隐私损失在可接受的范围内。
2024-06-16 18:06:49
1296
原创 差分隐私中的隐私损失以及在机器学习中的应用
隐私损失（Privacy Loss）是差分隐私中的一个核心概念，用来定量描述由于个体数据的存在或缺失，对算法输出结果概率分布所造成的影响。通过理解隐私损失，可以更好地掌握差分隐私机制如何在保护隐私的同时，允许有用的数据分析。
2024-06-11 18:01:43
960
原创 差分隐私中的隐私预算
隐私预算 ε 是控制差分隐私强度的关键参数，它决定了在梯度裁剪后添加噪声的大小，从而影响模型训练的隐私保护程度和数据的有用性。在实际应用中，需要合理分配和管理隐私预算，以在保护隐私的同时，最大限度地利用数据的价值。
2024-06-08 18:24:59
1067
原创 Why vectorization allows you to efficiently compute on all m examples?
向量化通过利用硬件加速、减少解释器开销、支持并行计算和优化内存访问，使得对所有样本进行高效计算成为可能。这是向量化在大规模数据处理和机器学习中被广泛使用的主要原因。
2024-06-06 20:51:56
321
原创 论文笔记(1)Towards Understanding and Mitigating Dimensional Collapse in Heterogeneous Federated Learning
此外，我们在每个客户端上本地训练的模型上观察到类似的现象，并推断(deduce)全局模型上的维度崩溃(dimensional collapse)是从局部模型继承(inherited)来的。联邦学习旨在(aims to)跨不同客户端协作(collaboratively)训练模型，出于隐私考虑(for privacy considerations)不需要共享数据。然而，这种学习范式的一个主要挑战是数据异质性问题，它(which)指的是(refers to)不同客户之间本地数据分布之间的差异。
2023-09-11 19:33:00
284
原创 论文阅读笔记—Model-Contrastive Federated Learning(Abstract)
联邦学习使(enables)多方(multiple parties)能够在不交流(without communicating)本地数据的情况下协作(collaboratively)训练机器学习模型。联合学习中的一个关键挑战(A key challenge)是处理(handle)跨各方(across parities)的本地数据分布(local data distribution)的异构性(heterogeneity)。
2023-09-08 23:59:22
242
1
原创 urllib.error.URLError: ＜urlopen error [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed: un
在main.py文件中加上。
2023-08-14 16:03:38
213
原创 当我发现Anaconda环境里面安装了各种不兼容的包之后......(重新安装)
另外，发现了一个好东西，当我们在Github上面下载一个程序包之后，需要用requiements.txt安装各种依赖包的时候，使用命令。详见https://blog.csdn.net/weixin_43846270/article/details/109451249。使用稳定，可创建多个版本的Python虚拟环境。也可以用可视化界面创建虚拟环境。
2023-07-28 13:22:55
278
1
原创 Pytorch报错：RuntimeError : bool value of Tensor with more than one value is ambiguous. 的可能原因
1、使用损失函数的时候，不能直接写loss = nn.CrossEntropyLoss（input, target）或者是nn.NLLLoss (input, target)，必须先把求损失的库函数定义到一个自己命名的函数再调用。例如：loss_fn = nn.NLLLoss()loss = loss_fn(input, target)2、定义库函数的时候要记得加括号：是loss_fn = nn.NLLLoss()而不是loss_fn = nn.NLLLoss...
2022-04-10 18:58:01
3181
原创 CentOS查看CUDA版本
1、在python环境中查看服务器上有没有安装CUDApythonimport torchtorch.cuda.is_available()显示True即为安装过了2、不用进python环境，直接查看版本：
2021-12-08 16:08:11
3320
原创 Spark学习笔记2
Spark核心模块Spark core是Spark的功能核心，其他几个模块是基于core实现和完善的Spark操作结构化数据的一个功能模块结构化数据操作和流式数据操作
2021-10-30 22:15:50
1194
原创 Spark学习笔记1
spark是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。注意！！！主要作用就是做大数据的分析计算！不做其他的功能，比如说存储等。Spark发展时间轴：Spark是一种包含流处理能力的批处理框架。Spark侧重于通过内存计算以及处理优化机制加快批处理的运行优化速度。可以作为独立的集群来部署，也可以和Hadoop集成，取代MapReduce。...
2021-10-30 15:41:27
655
原创 python网络爬虫学习笔记1
网络爬虫定义的通俗理解：爬虫是一个模拟人类请求网站行为的程序。可以自动请求网页、并把数据抓取下来，然后使用一定的规则提取有价值的数据。爬虫的实际应用：1、搜索引擎（百度或谷歌等）2、伯乐在线。3、惠惠购物助手。4、数据分析（瓜子二手车分析车辆保值情况）5、抢票软件等。安装爬虫开发所需软件：1、3.6版本以上的python2、Pycharm2019 社区版3、Chrome软件、73以上的版本（https://www.google.com/chrome/）需要了解的一些概念：Http协
2021-10-29 20:08:45
374
原创 使用Pytorch进行数据预处理报错：can‘t convert np.ndarray of type numpy.object_.
1 问题TypeError: can’t convert np.ndarray of type numpy.object_. The only supported types are: float64, float32, float16, complex64, complex128, int64, int32, int16, int8, uint8, and bool.2 出错代码X = torch.from_numpy(X_data).type(torch.float32)3 出错原因在nump
2021-03-15 21:13:59
5747
1
原创 PyCharm学习笔记一
目录PyCharm集成开发环境功能PyCharm应用PyCharm常用操作PyCharm集成开发环境功能到PyCharm官网下载，专业版每次功能更加齐全，但免费试用每次只能用30分钟，社区版可免费使用。PyCharm应用新建项目：新建程序文件：因为我在创建项目的时候勾选了自动创建main.py文件，所以这个项目现在包含两个程序文件：打开helloWorld.py文件，在里面输入print语句，光标放在句子上时会出现小电灯泡，是集成开发环境环境给出的程序建议，不用管：运行程序
2021-02-04 12:16:37
1167
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人