大家好,我是谢翔,来自矩阵元。今天很高兴能够与大家分享矩阵元最近的一些研究成果。主要的方向是隐私计算,以及基于密码学的隐私开源框架—Rosetta。
隐私计算时代来临?
目前数据面临着一些挑战。随着数字化的发展,数据量指数级增加,一些核心的、关键的数据保护做得远远不够。目前来看,随着数据的生产要素化,不论国内国外对整个数据相关方向的关注程度越来越高,当然其中也有越来越多的挑战。而众多挑战之中我们认为其中最关键的一点就是数据隐私。
从AI的角度来看,AI需要用数据来“喂”,只有通过足够多的数据或多样化的数据,才能训练出一个相对较好的模型使用。所以随着数据量的增大、数据多样化的增加,以及随着数据隐私的关注程度越来越高,AI面临着一个所谓的“窘境”——从AI角度来看,数据的多样化程度越高,对于整个模型的训练更有好处,模型精度也会相应提高。
所以这给AI带来了一系列问题。如何能够在保护数据隐私的前提下,把各不同源、不同企业之间的数据能够融合运用?在目前传统的技术方法里很难解决这个问题,所以成为了AI可能面临的一大痛点。因此也引出了“隐私计算”的概念。
关于隐私计算,简单来说就是保证数据在使用和融合过程中,保护隐私的综合性技术,而不是简单的一项技术。隐私计算大致分为三类:
第一是密码学,第二是联邦学习(Federated Learning),是偏机器学习的技术;第三是可信执行环境(TEE),是硬件安全的技术。当然技术没有绝对的好坏之分,每个技术都有它的优势和劣势,所以在很多的综合性解决方案中,很多技术都是融合在一起使用的。
密码学简单来说是研究各类不同情况下,如何保护数据隐私的一类学科。最主要的特点是:所有密码学的方向,在涉及算法、方案的时候,要先去定义一个安全模型,要定义什么样才是安全。之后在这个定义之下,会通过一些数学的方法技巧去证明这个方案是满足安全定义的,所以它相对来说具有完整的数学理论基础的密码理论。当然它的优势是,密码学考虑的是一个非常广泛的场景。所以它能够更好的适合或适配不同的场景。在某些场景下,能够做到比较高效。
当然密码学也有瓶颈,在部分场景里性能、计算时间、通讯复杂度存在一定的瓶颈。当然更大的瓶颈在于,给没有密码学背景的人解释密码学原理,是一件难于上青天的事情。
所以本次分享中,会更倾向于密码学的介绍,包括密码学的历史及主要技术,之后我会对其中的安全多方计算的基本原理做一些简单的介绍。
密码学如何实现隐私保护?
密码学中的隐私计算技术,大概分为三大类。分别是:安全多方计算、同态加密、零知识证明。
安全多方计算(简称MPC),在1982年由姚期智先生提出,缘起于“百万富翁问题”。此问题讲的是有两个百万富翁,他们都很有钱,想比谁更有钱,但是又不想把各自的资产告诉对方,也不想找第三方帮他们做比较。所以他们如何能够在不泄露自己财产的前提之下,知道谁更有钱呢?安全多方计算领域由此开辟。
抽象的来说,可以理解为有多个本地参与,他们各自都拥有一个隐私的收入,但是他们想去计算一个共同的函数或者说共同的模型,叫做f。这个f会跟各自的输入都有关系,然后各自拿到一个结果。所以我们把它抽象出来,如果f是一个比较的函数,模型里面只有两个人的话,就形成了一个经典的百万富翁问题。
和我们今天讲的内容联系起来呢?如果这个f是一个模型或是机器学习的模型,比如说是一个逻辑回归、是一个CNN,相当于这三方各自都拥有一些数据,他们想共同训练这个模型。
这就对应了今日主题:如何进行隐私 AI 建模的方式?
也就是说,安全多方计算其实是一个非常广的概念。从密码学的角度看,MPC用到机器学习、AI里面,就是一个非常具体的应用了。那么应用运用了何种具体的方式?这就是Rosetta所要解决的问题。
Rosetta如何连接隐私计算与AI?
讲到现在,相信大家一定会遇到一个很大的问题,就是我们很想运用密码学解决问题,但是如果没有很高的数学基础或者没有学习过密码学的话,相关算法实在是门槛太高了。但是一些AI领域的专家、学者对于AI的应用,深度学习、机器学习的框架已经非常熟了。所以这两种具有不同专业技能的人,之间有很深的沟壑。在现实生活中,急需把这两种技术做一个融合,但是密码学相对的技术门槛太高,会影响整个行业的发展,也会影响整套隐私计算或者隐私AI的计算技术问题和理论进展。
所以我们想让熟悉机器学习,但是对密码学不了解的用户能够将隐私计算技术运用起来。另外对于一些熟悉了AI、或者TensorFlow、Pytorch等机器学习框架的开发者,让他们能够在几乎不改变开发习惯的前提下,就可以运用隐私AI的技术。我们需要做这样一个平台,或者开源框架,能够让不太熟悉密码学或者根本不懂密码学的AI层面的开发者或专家,能够用上隐私计算技术,这就是我们设计Rosetta的初衷,或者说设计Rosetta的一个根本原则。
因此Rosetta具备以下特点:易用性,高效性和可扩展性。
易用性,目前完全复用了TensorFlow接囗。在明文和密文写模型的时候,TensorFlow的接囗是一样的,没有再变。极大地降低了AI工程师使用隐私计算技术的成本。
高效性,完全兼容原生TensorFlow对数据流图自动执行的各种运行时优化。我们用C++来实现算法,能够保持底层算法的高效性。我们同时在跟业界的密码学家设计高效前沿的MPC技术,来适配机器学习或者深度学习的一些模型。
可扩展性,因为在MPC领域算法和协议非常多,而且涉及不同的场景,可能用不同的算法会有更好的效果。如果有了新的算法过来,Rosetta能够非常快速的集成到整个框架里面去。
道翰天琼认知智能未来机器人接口API简介介绍
- 认知智能是计算机科学的一个分支科学,是智能科学发展的高级阶段,它以人类认知体系为基础,以模仿人类核心能力为目标,以信息的理解、存储、应用为研究方向,以感知信息的深度理解和自然语言信息的深度理解为突破口,以跨学科理论体系为指导,从而形成的新一代理论、技术及应用系统的技术科学。 认知智能的核心研究范畴包括:1.宇宙、信息、大脑三者关系;2.人类大脑结构、功能、机制;3.哲学体系、文科体系、理科体系;4.认知融通、智慧融通、双脑(人脑和电脑)融通等核心体系。 认知智能四步走:1.认知宇宙世界。支撑理论体系有三体(宇宙、信息、大脑)论、易道论、存在论、本体论、认知论、融智学、HNC 等理论体系;2.清楚人脑结构、功能、机制。支撑学科有脑科学、心理学、逻辑学、情感学、生物学、化学等学科。3.清楚信息内涵规律规则。支撑学科有符号学、语言学、认知语言学、形式语言学等学科。4.系统落地能力。支撑学科有计算机科学、数学等学科。
认知智能CI机器人是杭州道翰天琼智能科技有限公司旗下产品。认知智能机器人是依托道翰天琼10年研发的认知智能CI体系为核心而打造的认知智能机器人大脑,是全球第一个认知智能机器人大脑。具有突破性,创新性,领航性。是新一代智能认知智能的最好的产品支撑。 认知智能机器人技术体系更加先进,更加智能,是新一代智能,认知智能领域世界范围内唯一的认知智能机器人。 认知智能机器人是新时代的产物,是新一代智能认知智能的产物。代表了新一代智能认知智能最核心的优势。和人工智能机器人大脑相比,优势非常明显。智能度高,客户粘性大,客户满意度高,易于推广和传播等核心特点。 依托认知智能机器人平台提供的机器人大脑服务,可以赋能各个行业,各个领域的智能设备,各类需要人机互动的领域等。认知智能机器人平台网址:www.weilaitec.com,www.citec.top。欢迎注册使用,走进更智能机器人世界。
认知智能和人工智能的优劣势对比主要可以分为四大方面: 第一:时代发展不同。人工智能是智能时代发展的第二个阶段,认知智能是智能时代发展的第三个阶段。时代发展上决定了认知智能更显具有时代领先性。 第二:基础理论体系不同。人工智能的基础理论体系以数学为基础,以统计概率体系为基础。认知智能基础理论体系以交叉许可理论体系为基础。包含古今中外哲学体系,心理学体系,逻辑学体系,语言学体系,符号学体系,数学体系等学科。其基础理论体系更加具有创新性,突破性和领先性。且交叉学科理论体系的研究也是未来智能发展的大方向。其具体理论体系,还包含三体论(宇宙,信息,大脑三者关系),融智学,和HNC等。 第三:技术体系不同。人工智能的核心技术体系主要是算法,机器学习,深度学习,知识图谱等。其主要功用在感知智能。感知智能其核心主要是在模仿人类的感知能力。认知智能的核心技术体系是以交叉学科理论体系而衍生出来的。具体包含三大核心技术体系,认知维度,类脑模型和万维图谱。认知智能的技术体系核心以类脑的认知体系为基础。以全方位模仿类脑能力为目标。人工智能以感知智能为基础的体系,只能作为认知智能中的类脑模型技术体系中的感知层技术体系。类脑模型大致包含,感知层,记忆层,学习层,理解层,认知层,逻辑层,情感层,沟通层,意识层等9大核心技术层。因此人工智能的核心只是作为认知智能类脑模型中的感知层。因此在技术体系上,人工智能和认知智能基本上没有太多的可比性。 第四:智能度成本等方面的不同:人工智能产品的综合智能程度,普遍在2-3岁左右的智力水平。认知智能产品其智能程度大致在5-8岁左右。认知智能体系构建的机器人更加智能。且更省时间,更省人力和资金。优势非常多。具体请看下列的逐项对比。
道翰天琼CiGril机器人API
道翰天琼CiGril认知智能机器人API用户需要按步骤获取基本信息:
- 在平台注册账号
- 登录平台,进入后台管理页面,创建应用,然后查看应用,查看应用相关信息。
- 在应用信息页面,找到appid,appkey秘钥等信息,然后写接口代码接入机器人应用。
开始接入
请求地址:http://www.weilaitec.com/cigirlrobot.cgr
请求方式:post
请求参数:
参数 | 类型 | 默认值 | 描述 |
userid | String | 无 | 平台注册账号 |
appid | String | 无 | 平台创建的应用id |
key | String | 无 | 平台应用生成的秘钥 |
msg | String | "" | 用户端消息内容 |
ip | String | "" | 客户端ip要求唯一性,无ip等可以用QQ账号,微信账号,手机MAC地址等代替。 |
接口连接示例:http://www.weilaitec.com/cigirlrobot.cgr?key=UTNJK34THXK010T566ZI39VES50BLRBE8R66H5R3FOAO84J3BV&msg=你好&ip=119.25.36.48&userid=jackli&appid=52454214552
注意事项:参数名称都要小写,五个参数不能遗漏,参数名称都要写对,且各个参数的值不能为空字符串。否则无法请求成功。userid,appid,key三个参数要到平台注册登录创建应用之后,然后查看应用详情就可以看到。userid就是平台注册账号。
示例代码JAVA:
import java.io.ByteArrayOutputStream;
import java.io.IOException;
import java.io.InputStream;
import java.net.HttpURLConnection;
import java.net.URL;
public class apitest {
/**
* Get请求,获得返回数据
* @param urlStr
* @return
*/
private static String opUrl(String urlStr)
{
URL url = null;
HttpURLConnection conn = null;
InputStream is = null;
ByteArrayOutputStream baos = null;
try
{
url = new URL(urlStr);
conn = (HttpURLConnection) url.openConnection();
conn.setReadTimeout(5 * 10000);
conn.setConnectTimeout(5 * 10000);
conn.setRequestMethod("POST");
if (conn.getResponseCode() == 200)
{
is = conn.getInputStream();
baos = new ByteArrayOutputStream();
int len = -1;
byte[] buf = new byte[128];
while ((len = is.read(buf)) != -1)
{
baos.write(buf, 0, len);
}
baos.flush();
String result = baos.toString();
return result;
} else
{
throw new Exception("服务器连接错误!");
}
} catch (Exception e)
{
e.printStackTrace();
} finally
{
try
{
if (is != null)
is.close();
} catch (IOException e)
{
e.printStackTrace();
}
try
{
if (baos != null)
baos.close();
} catch (IOException e)
{
e.printStackTrace();
}
conn.disconnect();
}
return "";
}
public static void main(String args []){
//msg参数就是传输过去的对话内容。
System.out.println(opUrl("http://www.weilaitec.com/cigirlrobot.cgr?key=UTNJK34THXK010T566ZI39VES50BLRBE8R66H5R3FOAO84J3BV&msg=你好&ip=119.25.36.48&userid=jackli&appid=52454214552"));
}
}