自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

翻译 联邦学习-隐私保护数据科学解释 PRIVACY-PRESERVING DATA SCIENCE, EXPLAINED

我们今天要用数据科学解决的许多问题都需要访问敏感的个人信息-无论是我们的病史,财务记录还是个人习惯。每天,像您和我这样的人都会在我们的智能手机,电子设备或医疗设备上生成大量数据。但是由于隐私或专有方面的考虑,用于解决有意义的问题的数据可能会很有限且难以访问。 我们可以在不侵犯个人隐私的情况下进行...

2020-05-26 16:11:25 13 0

翻译 什么是联邦学习

在有关私有ML的入门系列文章中,我们将介绍联邦学习(FL),解释什么是FL,何时使用它以及如何使用OpenMined工具实现它。本文中的信息将为广泛的读者所理解,但逐节地,我们将深入研究和理解联邦学习。 有关该系列的更多信息,请查看介绍性文章或查看其他文章,以了解更多有关可通过OpenMined...

2020-05-25 16:01:59 84 0

转载 docker镜像容器目录迁移

docker镜像容器目录迁移 docker运维运维自动化迁移 发布于 2019-07-23约 2 分钟 背景 docker镜像容器目录默认存放在Linux系统盘,导致系统盘空间不足,现把它迁移到其他盘 停止服务 systemctl stop docker # 或者 /etc/in...

2020-05-25 10:56:36 10 0

翻译 用JavaScript编写Apache Spark程序

用JavaScript编写Apache Spark程序 2020年3月19日 scalasparkgraal-vmjavascript Apache Spark支持使用Scala,Java,Python和R等多种语言进行编程。这种多语言支持使Spark可以广泛用于各种用户和用例。 并非Sp...

2020-05-21 18:12:49 12 0

翻译 基于spark实现的全同态数据计算框架sparkfhe实现思路

Follow the SparkFHE project at https://github.com/SpiRITlab or http://sparkfhe.slack.com Try it out at https://github.com/SpiRITlab/SparkFHE-Example...

2020-05-20 17:55:51 19 0

翻译 Gandiva, using LLVM and Arrow to JIT and evaluate Pandas expressions

从11年前开始,我就一直是LLVM的忠实拥护者,那时我开始使用LLVM处理JIT数据结构(例如AVL),然后使用JIT限制的AST树和TensorFlow图中的JIT本机代码。从那时起,LLVM演变为最重要的编译器框架生态系统之一,如今已被许多重要的开源项目使用。 我最近意识到的一个很酷的项目是...

2020-05-19 09:59:06 14 0

翻译 MAINTAINING PRIVACY IN MEDICAL DATA WITH DIFFERENTIAL PRIVACY(通过差分隐私维护医疗数据的隐私)

通过差分隐私维护医疗数据的隐私 想象一下,您在一家医院担任DL研究人员,而您的工作是寻找帮助医生抗击疾病的方法。由于冠状病毒(无形的敌人)大流行,越来越多的患者和大量CT影像等待被诊断。您决定创建一个图像分类器,这不仅可以减轻临床医生的负担,并帮助他们做出更明智的决定,还可以加快诊断速度并可能挽...

2020-05-19 09:42:45 53 0

原创 Apache Arrow开源项目生态

参考:https://www.slidestalk.com/AliSpark/ApacheSpark57985 https://arrow.apache.org/blog/2019/10/13/introducing-arrow-flight/ https://www.infoq.cn/art...

2020-05-13 22:34:13 33 0

转载 公钥可搜索加密-双线性对

我们将大数据存储在云服务器上,为了保护数据隐私,通常会选择先将数据加密后再上传。可搜索加密(Searchable Encryption)研究如何在密文上进行关键字搜索,分为对称可搜索加密(Searchable Symmetric Encryption)和公钥可搜索加密(Public-key Enc...

2020-05-13 15:40:17 41 0

原创 Weld: 高性能数据分析的公共运行时,spark sql, pandas ,numpy,tensorflow等的Common IR

一直在找一个大数据领域的通用编译优化器,最近注意到weld,这东西2017年就出来了,看着实在太强大。回头把相关论文撸一把,很hgih。 官网:https://www.weld.rs/ 论文: https://cs.stanford.edu/~matei/papers/2017/cidr_w...

2020-05-13 11:44:21 21 0

翻译 使用Apache Spark创建多语言管道或避免将spaCy重写为Java

In this guest post,Holden Karau,Apache Spark Committer, provides insights on how to create multi-language pipelines with Apache Spark and avoid rewri...

2020-05-12 16:51:31 35 0

翻译 翻译--PySpark: Java UDF Integration

PySpark is the Spark API implementation using the Non-JVM language Python. Though developers utilize PySpark by implementing Python Code using Spark ...

2020-05-12 14:51:21 13 0

转载 pyspark SparkSession及dataframe基本操作

pyspark SparkSession及dataframe基本操作 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 ...

2020-05-12 11:21:37 17 0

翻译 翻译--什么是数据虚拟化及其如何直接从源系统中解锁实时见解

在当今快速发展的业务环境中,有许多报告要求,它们不能等待批处理过程从操作系统中加载数据。业务用户需要其本地ERP,CRM或任何云系统中当前的数据。例如,在一个财政季度末,销售和财务负责人希望实时了解订单预订,以便他们有一个好主意是否打算“按季度”实现收入。他们无法等待4–8个小时的延迟才能完成ET...

2020-05-11 09:27:37 137 0

翻译 翻译--ASYNCHRONOUS FEDERATED LEARNING IN PYSYFT(PYSYFT中的异步联邦学习)

在这篇文章中,我们提供了使用PySyft应用联邦学习的展示。PySyft是一个开源python库,用于从OpenMined社区进行安全和私有的深度学习。它将私人数据与模型训练分离。 在联邦学习中,每个边缘设备都处理自己的数据以进行训练,避免将其发送给另一个实体,从而保护了隐私。此外,训练阶段的主...

2020-05-10 23:58:56 25 0

翻译 翻译--USE CASES OF DIFFERENTIAL PRIVACY(差分隐私用例)

在此博客文章中,我们将介绍从生物医学数据集分析到地理位置定位的差分隐私(DP)的一些用例。有关为SG OpenMined Explorers研究组创建的与该帖子相关的幻灯片,请参阅@Ria的“差分性隐私和联邦学习用例”。 让我们从将差分隐私应用于基因组学开始。 基因组学 机器学习对基因组学应...

2020-05-10 23:06:08 41 0

翻译 翻译-TOWARDS PRIVACY WITH RSTUDIO: ENCRYPTED DEEP LEARNING WITH SYFT AND KERAS

注意:这篇文章首先出现在RStudio AI博客(以前是RStudio TensorFlow博客)上,致力于R的所有深度学习,概率建模和分布式计算。假定原始读者熟悉R包tensorflow和keras,旨在允许以惯用的,类似于R的方式设计和训练TensorFlow / Keras模型,以及网状结构...

2020-05-10 22:46:19 110 0

原创 找一个差分隐私sql封装,相关论文和实现简单调研

最开始想找基于spark实现的差分隐私框架,找到了 Shade: A Differentially Private Wrapper Around Apache Spark 这篇论文 https://dspace.mit.edu/bitstream/handle/1721.1/119522/10...

2020-05-09 20:11:28 31 0

原创 使用pysyft发送模型给带数据集的远端WebsocketServerWorker作联合训练

WebsocketServerWorker端代码:start_worker.py import argparse import torch as th from syft.workers.websocket_server import WebsocketServerWorker import ...

2020-05-09 17:23:14 25 0

原创 什么是omid?数据库的乐观事务管理

What is Omid? Apache Omid (Optimistically transaction Management In Datastores)is a flexible, reliable, high performant and scalable transactional f...

2020-05-09 15:24:25 21 0

翻译 翻译--A PRIVACY-PRESERVING WAY TO FIND THE INTERSECTION OF TWO DATASETS 在保护隐私的前提下找两个数据集的交集--隐私数据集求交

隐私数据集交集(PSI)是一种强大的加密技术,它允许两方计算其数据的交集,而无需将其原始数据暴露给另一方。换句话说,PSI允许测试各方是否共享一个公共数据点(例如位置,ID等)。 在这篇文章中,我们介绍: 1、PSI的解释 2、PSI如何在COVID-19危机技术中发挥作用 3、技术细节:如何实现...

2020-05-09 11:28:26 110 0

转载 转载-联邦学习 - 基础知识+白皮书+杨强教授讲座总结+同态加密+ 差分隐私

原文链接:https://blog.csdn.net/qq_41409438/article/details/102213895 联邦学习 兴起原因 概念 分类 横向联邦学习 纵向联邦学习 联邦迁移学习 优势 系统架构 联邦学习与现有研究的区别 联邦学习与差分隐私理论的区别 联邦学习与分布式机器...

2020-05-08 16:28:45 129 0

翻译 pygrid:用于私有数据科学和联邦学习的p2p平台

如果您可以训练世界上所有数据,而又不会将这些数据留给设备,同时又将这些数据保密,该怎么办? PyGrid是用于私有数据科学和联合学习的对等平台。借助PyGrid,数据所有者可以提供,监视和管理对自己私有数据集群的访问。数据不会离开数据所有者的服务器。 然后,数据科学家可以使用PyGrid对...

2020-05-08 09:47:03 73 0

转载 在android上实现联邦学习--迁移学习方式

Implementation of federated learning on Android 前言 时隔一年之久再次更新博文。????记录近来的项目经历,留作以后参考,也希望能够帮到有需要的人。 本项目的需求如下:搭建实际的联合学习(Federated Learning)场景,主要包括两个...

2020-05-07 22:08:21 140 0

原创 区块链与机器学习整合随想

使用waterdrop 对接mpcsql模型直接给出结果部署到区块链,服务bi或者区块链浏览器。 使用waterdrop 对接训练联邦模型过程,把训练模型部署到区块链,服务预测服务或者用于买卖。启发于,机器学习训练过程其实和etl很相似,transform连接。 这种模式比较偏预言机场景,只是对结...

2020-05-07 18:04:46 38 0

翻译 数据虚拟化与区块链

基于在行业中多年担任各种角色(包括分析师)的经验,我已经习惯了看到技术之间的互连的价值主张,包括相应市场的发展和成熟。这引起了我最近对发现将区块链和数据虚拟化技术协同工作的模式和用例的兴趣。巧合的是,我发现Denodo最具创新性的客户之一正在利用区块链,因此我立即伸出手来了解该公司对数据虚拟化和B...

2020-05-03 22:47:22 133 0

翻译 pygrid教程3--本地部署pygrid 网络

https://github.com/OpenMined/PyGrid/blob/dev/examples/Part%202%20-%20Launch%20a%20PyGrid%20Network%20Locally.ipynb 在本地启动网格网络 在本教程中,您将学习如何将网格网络部署到本地计算...

2020-05-03 21:01:20 118 0

原创 SMCQL 、 ObliVM 与 conclave 多方安全计算框架调研

1、SMCQL SMCQL将SQL语句转换为ObliVM程序,以进行安全的查询。 相关介绍: https://inst.eecs.berkeley.edu/~cs294-163/fa19/slides/SMCQL.pdf 代码仓库:https://github.com/smcql/smcq...

2020-05-03 20:24:54 60 0

翻译 pygrid教程2--本地部署pygrid 节点

第1部分:本地启动网格节点 在本教程中,您将学习如何将网格节点部署到本地计算机,然后使用PySyft与之交互。 警告:网格节点在线发布数据集,仅供实验使用。部署节点需要您自担风险。不要将OpenGrid与您希望保持私有的任何数据/模型一起使用。 为了在本地运行节点,您需要做的就是运行一个应用程...

2020-04-28 21:36:22 45 0

翻译 pygrid教程1--pygrid介绍

什么是PyGrid? PyGrid(也称为Grid)是一个面向数据所有者和数据科学家的协作网络平台,他们可以使用PySyft库集体训练和共享AI模型,该库扩展了PyTorch和Tensorflow等深度学习库。 介绍内容包括 1、介绍 2、目标 3、实作 介绍 PyGrid平台旨在成为用...

2020-04-25 22:53:45 53 0

翻译 在大数据工作流中集成安全多方计算

原文ppthttp://www.bu.edu/macs/files/2016/09/Volgushev-MPC.pdf ...

2020-04-25 21:46:15 14 0

翻译 通过联合学习PySyft和Pygrid来预测涡轮风扇发动机的维护

无需直接访问数据就能从机器学习的奇迹中受益吗?如今,机器学习可用于准确预测和预防发动机故障。但是,如果不允许访问传感器数据,如何防止昂贵,重要的机械故障呢? 机器学习在行业中变得越来越重要,例如通常用于降低成本和提高效率,或者专门用于预测性维护。预测性维护是确定设备状况的一种做法,以便估计何时应...

2020-04-18 20:57:23 137 0

原创 chAIn--一种无中心人工智能的初步实现

chAIn--一种无中心人工智能的初步实现 本文提炼自https://github.com/Riksi/chAIn 什么是chAIn? chAIn项目的目标是开发一个AI+Blockchain 赋能的去中心化数据和模型银行。 把数据和模型资产化。初期我们希望专注于开发一个真正的点对点数...

2020-04-18 18:59:28 32 0

翻译 TEE下的加密深度学习:PySyft pytorch Intel SGX 关于受信任执行环境的安全聚合

The world now creates more digital data than we could ever imagine — more than 90% of all existing data has been generated in the last decade. The fi...

2020-04-17 21:48:47 121 0

原创 大数据与区块链相关好文章整理

有关数据治理的本质及实践,看这一篇就够了 https://www.infoq.cn/article/UBch5BDK2TWGdo5x*UzN 建设企业的数据化引擎,网易严选数据中台的经验和方法论 https://www.infoq.cn/article/Zyq4a*yEI1Uz2iwHFJu...

2020-04-17 21:17:02 51 0

原创 reddit上关于trust data/Opal/Engima的相关

Opal/Engima News~ As many of you know, we have found some things linking us to OPAL Project. But everything we have found previously has been 2015...

2020-04-13 13:37:02 19 0

原创 可信数据仓库与可信数据计算随想

区块链可信数据交换:上层赋能 联合风控、联合营销。。。。。联合建模 源点通 = 合约溯源建模+id数据 + 联合静态数据营销算法建模 + 联合动态数据串货建模 + 业务建模 区块链数据=跨组织重资产,重价值,重事务,重一致性,防伪,唯一,结构化数据===关系数据库==跨组织关系数据,比如跨组织...

2020-04-12 16:58:23 19 0

原创 扩展区块链二层处理能力的构想

类比设计分布式系统时,元数据节点需要强一致性,数据节点只需要最终一致性 类比大数据系统,批处理节点的对历史数据的处理,流处理对实时数据的处理。 大概设计为:1.基于区块链的事件治理系统:主链存储事件,在侧链合约层面构建规则引擎对事件进行复杂事件处理。 ...

2020-03-18 16:53:01 35 0

原创 区块链 规则引擎 智能合约

通过业务规则让区块链智能合约更加智能https://www.ibm.com/developerworks/cn/middleware/library/mw-1708-mery-blockchain/1708-mery.html 通过链下逻辑扩展区块链智能合约https://www.ibm.c...

2020-03-17 16:37:22 103 0

原创 高性能spark读书笔记-第二章

1、容错 Spark is fault-tolerant, meaning Spark will not fail, lose data, or return inaccurate results in the event of a host machine or network failu...

2020-03-09 22:57:13 16 0

提示
确定要删除当前文章?
取消 删除