联邦学习差分隐私算法毕业论文【附代码+数据】

坷拉博士

于 2024-09-27 14:53:35 发布

阅读量332

点赞数 10

文章标签：算法

本文链接：https://blog.csdn.net/checkpaper/article/details/142593625

版权

✅博主简介：本人擅长建模仿真、论文写作与指导，项目与课题交流。项目合作可私信或扫描文章底部二维码。

联邦学习能够在各参与方不共享本地原始数据的情况下，通过分布式协作训练一个高质量的全局模型。这种方式具有去中心化、数据隔离和高计算性能等优势，逐渐成为各领域的热门研究方向。
然而，联邦学习也存在一些安全隐患。例如，在传输过程中，模型参数可能会泄露隐私；数据的异构性可能导致训练模型的推理精度下降。此外，结合差分隐私保护技术对联邦学习算法进行优化时，会引入大量的通信开销和额外的算力资源消耗。
因此，如何在保证数据隐私性的同时，降低通信和算力开销，以及降低异构数据对联邦学习算法性能的影响，是当前联邦学习发展所亟待解决的关键问题之一。

（2）针对不同场景的优化算法

针对无线通信网络中的联邦学习问题，提出了一种新的子采样隐私无线传输算法（SS-RDP-WTS）。该算法实现了基于无线联邦学习框架的数据隐私保护和通信效率保证。
- 理论上，建立了一个常见的分布式均值估计问题，提供了该算法的收敛性分析，并证明了其隐私界限。
- 在 MNIST 数据集和 CIFAR10 数据集上进行仿真实验，结果表明，该算法能够有效权衡模型效用和通信，还提供更严格的隐私保护。
针对 Non-IID 数据场景下联邦学习的隐私泄露风险和模型收敛慢的问题，提出一种基于余弦相似性的隐私联邦加权学习算法（DP-Fed AW）。
- 该算法有效缓解了训练中 Non-IID 数据差异导致模型的收敛差问题。理论上证明了该算法能有效保证学习训练的隐私安全。
- 在 MNIST 数据集进行仿真实验，结果表明，相比于联邦平均算法，DP-Fed AW 算法可以更快收敛。

针对 Non-IID 数据场景下联邦学习的隐私保护能力下降和模型偏移问题，提出了一种基于海明格距离的联邦安全聚合算法（HW-DPFL）。

理论上证明了 HW-DPFL 算法的隐私保护能力和收敛性。

在 MNIST 数据集进行仿真实验，结果显示，在非独立同分布数据集上，HW-DPFL 算法相比于已有的算法具有更高的训练精确度。

% 对协方差矩阵进行特征值分解
[eigenvectors, eigenvalues] = eig(covarianceMatrix);

% 对特征值进行排序
[sortedEigenvalues, index] = sort(diag(eigenvalues), 'descend');

% 选择前两个主成分
selectedEigenvectors = eigenvectors(:, index(1:2));

% 将数据投影到主成分上
projectedData = centeredData * selectedEigenvectors;

% 绘制原始数据和投影后的数据
figure;
subplot(1,2,1);
plot3(data(:,1), data(:,2), data(:,3), 'o');
title('原始数据');
subplot(1,2,2);
plot(projectedData(:,1), projectedData(:,2), 'o');
title('投影后的数据');

% 计算投影后数据的均值和标准差
projectedMeans = mean(projectedData);
projectedStd = std(projectedData);

% 输出均值和标准差
disp(['投影后数据均值：', num2str(projectedMeans)]);
disp(['投影后数据标准差：', num2str(projectedStd)]);

% 对投影后的数据进行归一化
normalizedProjectedData = (projectedData - projectedMeans)./ projectedStd;

% 绘制归一化后的数据
figure;
plot(normalizedProjectedData(:,1), normalizedProjectedData(:,2), 'o');
title('归一化后的数据');

% 计算归一化后数据的相关系数
correlationMatrix = corrcoef(normalizedProjectedData);

% 输出相关系数矩阵
disp(correlationMatrix);

% 对归一化后的数据进行聚类
k = 3; % 假设分为 3 个聚类
[idx, centers] = kmeans(normalizedProjectedData, k);

% 绘制不同聚类的数据点
figure;
colors = ['r', 'g', 'b'];
for i = 1:k
    scatter(normalizedProjectedData(idx==i,1), normalizedProjectedData(idx==i,2), 20, colors(i), 'filled');
end
title('聚类后的数据');

% 计算每个聚类的中心
clusterCenters = zeros(k, size(normalizedProjectedData, 2));
for i = 1:k
    clusterCenters(i,:) = mean(normalizedProjectedData(idx==i,:));
end

% 输出聚类中心
disp(clusterCenters);

% 对数据进行分类预测
newData = randn(10, 3);
newCenteredData = newData - repmat(columnMeans, size(newData, 1), 1);
newProjectedData = newCenteredData * selectedEigenvectors;
newNormalizedProjectedData = (newProjectedData - projectedMeans)./ projectedStd;

% 使用最近邻分类器进行预测
distances = pdist2(newNormalizedProjectedData, normalizedProjectedData);
[~, nearestIndices] = min(distances, [], 2);
predictedLabels = idx(nearestIndices);

% 输出预测标签
disp(predictedLabels);

% 评估分类性能
trueLabels = randi(k, size(newData, 1), 1);
accuracy = sum(predictedLabels == trueLabels)/size(newData, 1);

% 输出准确率
disp(['准确率：', num2str(accuracy)]);

% 尝试不同的聚类方法
[idx2, centers2] = kmedoids(normalizedProjectedData, k);

% 绘制不同聚类的数据点
figure;
colors = ['r', 'g', 'b'];
for i = 1:k
    scatter(normalizedProjectedData(idx2==i,1), normalizedProjectedData(idx2==i,2), 20, colors(i), 'filled');
end
title('K-medoids 聚类后的数据');

% 计算每个聚类的中心
clusterCenters2 = zeros(k, size(normalizedProjectedData, 2));
for i = 1:k
    clusterCenters2(i,:) = mean(normalizedProjectedData(idx2==i,:));
end

% 输出聚类中心
disp(clusterCenters2);

% 对新数据进行分类预测
newProjectedData2 = newCenteredData * selectedEigenvectors;
newNormalizedProjectedData2 = (newProjectedData2 - projectedMeans)./ projectedStd;

distances2 = pdist2(newNormalizedProjectedData2, normalizedProjectedData);
[~, nearestIndices2] = min(distances2, [], 2);
predictedLabels2 = idx2(nearestIndices2);

% 输出预测标签
disp(predictedLabels2);

% 评估分类性能
accuracy2 = sum(predictedLabels2 == trueLabels)/size(newData, 1);

% 输出准确率
disp(['K-medoids 准确率：', num2str(accuracy2)]);

% 进行一些数据可视化
figure;
subplot(1,2,1);
scatter3(data(:,1), data(:,2), data(:,3), 20, 'b', 'filled');
title('原始数据');
subplot(1,2,2);
for i = 1:k
    scatter3(newData(predictedLabels==i,1), newData(predictedLabels==i,2), newData(predictedLabels==i,3), 20, colors(i), 'filled');
end
title('分类预测后的数据');

% 尝试不同的特征提取方法
[coeff, score, latent] = pca(data);

% 输出主成分分析结果
disp(coeff);
disp(score);
disp(latent);

% 选择前两个主成分进行数据投影
selectedCoeff = coeff(:,1:2);
projectedData2 = data * selectedCoeff;

% 绘制投影后的数据
figure;
plot(projectedData2(:,1), projectedData2(:,2), 'o');
title('PCA 投影后的数据');

% 计算投影后数据的均值和标准差
projectedMeans2 = mean(projectedData2);
projectedStd2 = std(projectedData2);

% 输出均值和标准差
disp(['PCA 投影后数据均值：', num2str(projectedMeans2)]);
disp(['PCA 投影后数据标准差：', num2str(projectedStd2)]);

% 对投影后的数据进行归一化
normalizedProjectedData2 = (projectedData2 - projectedMeans2)./ projectedStd2;

% 绘制归一化后的数据
figure;
plot(normalizedProjectedData2(:,1), normalizedProjectedData2(:,2), 'o');
title('归一化后的 PCA 投影数据');

% 对归一化后的数据进行聚类
[idx3, centers3] = kmeans(normalizedProjectedData2, k);

% 绘制不同聚类的数据点
figure;
colors = ['r', 'g', 'b'];
for i = 1:k
    scatter(normalizedProjectedData2(idx3==i,1), normalizedProjectedData2(idx3==i,2), 20, colors(i), 'filled');
end
title('PCA 聚类后的数据');

% 计算每个聚类的中心
clusterCenters3 = zeros(k, size(normalizedProjectedData2, 2));
for i = 1:k
    clusterCenters3(i,:) = mean(normalizedProjectedData2(idx3==i,:));
end

% 输出聚类中心
disp(clusterCenters3);

% 对新数据进行分类预测
newProjectedData3 = newData * selectedCoeff;
newNormalizedProjectedData3 = (newProjectedData3 - projectedMeans2)./ projectedStd2;

distances3 = pdist2(newNormalizedProjectedData3, normalizedProjectedData2);
[~, nearestIndices3] = min(distances3, [], 2);
predictedLabels3 = idx3(nearestIndices3);

% 输出预测标签
disp(predictedLabels3);

% 评估分类性能
accuracy3 = sum(predictedLabels3 == trueLabels)/size(newData, 1);

% 输出准确率
disp(['PCA 准确率：', num2str(accuracy3)]);

% 比较不同方法的性能
disp(['原始方法准确率：', num2str(accuracy)]);
disp(['K-medoids 准确率：', num2str(accuracy2)]);
disp(['PCA 准确率：', num2str(accuracy3)]);