全球第一颗可重构多模态智能芯片发布 听听尹首一教授怎么说?

拥有完全中国自主知识产权，清微智能打造的全球首款可重构多模态智能计算芯片——TX510在阿里云栖大会上发布。关于这颗芯片，发布人清微智能首席科学家尹首一教授在现场接受了多家媒体的采访，本文对其中的重要观点进行了整理，关于芯片技术发展、行业趋势，关于这颗芯片，听听尹教授怎么讲？

记者：什么是多模态智能？

尹教授：多模态智能即能够同时处理图像加语音、甚至更多形态、更多维度的数据。举一个简单的例子，在比较嘈杂的环境下做语音识别时，为了取得更好的效果，可以同时配上口型、表情，这样的一些信息，帮助提升语音识别的准确率。如果只是独立处理语音或者图像这样的单一的数据，这个就是比较基本的一种操作。

记者：目前市面上能够看到的都单一处理的芯片，为什么我们可以可以做到，是采用了多核的，或者说是这种异构融合的处理模式吗？

尹教授：不是，这个就需要讲到我们核心的这个可重构技术，可重构技术和异构架构两者从逻辑上是有很大差别的。异构是在同一个芯片上放不同类别的IP核，例如CPU、GPU，有些还有放DSP，甚至FPGA这些，在处理不同算法时，它用不同的部分去计算。可重构计算它在整个芯片上，是同一个运算单元，可以在运行的过程中做动态的硬件架构的变换。架构采用阵列式的结构，在空间上可以分成两个或者多个子阵列，动态的做自然分配，互联，按需适配不同算法，动态的实现不同的功能。

记者：那这种重构与我们知道的FPGA有什么区别？

尹教授：FPGA是一种静态重构，配置出一种应用之后，在数据的运行过程中，就不可再变化了。所以，FPGA会有一种容量的单元，假设我们购买了4000单元的FPGA，如果我们写进去一些应用，它是不能超过4000单元的。

可重构计算架构是动态的，当一些应用比较大的时候，在运行的过程中，可以被切分成小块儿，在时间上混合计算。

可重构计算架构具有很好的可扩展性，按照需求扩大计算资源，所以以此架构为基础的芯片，除了公司目前在智能终端上的产品落地，它也可以做网络边缘端的服务器，并切入到云端市场。

记者：清微是唯一一家应用可重构技术的公司吗？跟国外的技术对比呢？

尹教授：从技术上来说，可重构技术在国内，我们从清华微电子所到现在，已经有了十几年的积累，是唯一的一家。近几年，我们也看到国外也开始有一些同行，例如美国硅谷那边有些公司也在做。美国国防部高级研究计划局从2017年开始，投入巨大精力支持“运行时快速重构”的硬件架构研究，里面有一些老牌的公司，例如高通，英伟达，还有一些新兴的创业公司，他们也在沿着这条技术路线做探索。但我们其实是领先的，不光是在时间上，在一些重要的技术指标上也是，而且这个技术是我们中国首先原创的。

记者：我们的芯片可以在硬件层面进行重构，这对于开发者来说意味着什么？

尹教授：其实对于开发者来说，跟之前的其它芯片没有太大差别，仍然是写软件集成代码，我们提供工具链，编译成芯片硬件能够识别的信息，对于开发者来说，应该基本上是完全无感的。开发者不用在意底层到底是如何实现的。

记者：我们的这个技术如何一代一代演进？

尹教授：我们认为应该从两个维度来看这个事情。第一个维度就是继续提升它的能效比，我们会继续应用一些新的技术在里面，包括近似计算、存内计算等。第二个维度就是要让可重构计算更加灵活，让它能够支持更容易的编程，让它对用户更友好。

记者：因为是可重构架构，我设想一下，那是否可以重构为CPU、GPU这样的芯片，来处理所有的程序？

尹教授：理论上来说，这个是完全可行的，而且我们其实已经尝试过用可重构这种方式去做一个通用的处理器，这在科研里面已经是实现过的。但是从产品的角度来说，其实还是要考虑很多落地的问题，现在是否合适推出这样的芯片，都是需要考虑的问题。

记者：我知道，其实清微在今年6月底是推出了一块语音芯片，在市场上也有不错的表现，那么这两代产品有什么不同，在性能上有些什么提升呢？

尹教授：两颗芯片在内部的计算架构上其实本质上是一样的，开发工具链也是一样的，其实这也是我们的一个优势，可以节省前期的开发成本。产品的差别主要是在接口上，因为两颗芯片其实都是SOC芯片，与他们配套的一些模块有些不一样。语音芯片更多的是对接一些语音应用的接口，例如配模拟麦克风、数据麦克的接口。第二款芯片为了配合多模态的一些应用，要配一些视觉应用场景，摄像头接口等，还有里面的一个3D深度视觉引擎。3D的识别可以提高识别的准确率，防伪和这种防攻击性都有很好的提高。3D本身不是一个新的技术，应该说早在十年前就有了，但现在是一个小型化的过程，同时需要跟我们自己的产品有这种深度的融合。

举一个场景来说，例如金融场景下的人脸支付，支付其实是对安全性要求极高的，单纯的图像识别安全性可能不够，需要配合这种声音的采集，那我们说一种极端的情况，如果有人制造了你人脸的3D模型，同时录了你的声音，它是不是就可以攻破了？这就是还要说到它的这种多模态处理，如果人真的去说话，同时是要配合你的口型，那么这种安全性就会非常高了。

记者：那么产品的落地情况呢？

尹教授：语音的芯片目前在深圳这些地方已经有很多终端产品在出货了。这颗多模态的芯片一直跟阿里平头哥有这种深度的合作，跟阿里支付也在磨合，目前是少量量产，大量量产后首先会跟阿里的这个生态圈的伙伴有合作。智能门锁也是一个重要的应用场景，还有工业里面智能制造的空间建模这些，我们其实觉得将来，所有用到视觉的地方，可能都会对这种3D的视觉有要求，因为我们人本身看东西本身就是立体的，立体的视觉背后还隐藏这很多语音的信息，这是未来的一个必然趋势，都很适合这颗芯片，它还是一颗比较通用的AI芯片。

记者：在谈到芯片时，我们总会说，某一方面做到优秀了，另一方面可能就会比较弱，特别是做到这种通用的芯片，那么我们总是要牺牲一些什么吧？

尹教授：你这个问题很有代表性，因为在跟很多人谈到这个问题时，大家总会问，那我们到底牺牲了什么？其实未必，我们可以看，每一代的CPU都在进步，性能都在提升，其实除了研发人员的时间，脑细胞外，你说它牺牲了什么？我们的这个可重构技术，它改变的是芯片的底层架构，这就是一种创新，如果一定要牺牲什么，才能换了什么，这其实是说明你的技术没有真正的进步，如果技术真的进步，它就是能力得到了提升，这种才算是真正的进步。

记者：关于芯片行业的竞争，如何看待系统集成厂商或者这种做算法的公司，都来做芯片的这个现象？

尹教授：我们可以看到，在芯片行业，其实是没有蓝海可言的，只要是一个真正能够存在的芯片应用领域或者说叫场景，肯定存在大量的竞争。从终端来讲，要用起来，看重的一个就是能效比，一个就是它的可编程能力，就是它的适用性。从这两点来说，可重构技术是由它的独特优势的，竞争其实是好事儿。

我们从历史上来看，为什么有独立的芯片设计公司存在？这是因为电子信息这个行业就是这样的一种形态，需要有分工，才能提高效率，提高了效率才会有更高的利润，这个商业模式才是成立的。我们今天来看，全球能够做芯片的系统厂商，其实屈指可数，像华为，无疑它在全球现在也是领先的系统厂商，它有自己的系统定义能力，有自己的芯片设计能力。但是绝大部分的整机厂商，还是需要通过采购这种方式来完成。其实原因很简单，像华为、三星这样的公司，它单一产品的出货量就会很大，来支撑它前期的芯片研发成本，而一般的系统厂商，抛开技术积累的问题，面对市场，特别是面对目前这种碎片化的市场，还是难以支撑芯片的持续研发的。

记者：我们跟阿里平头哥是如何合作的，如何看待这种合作呢？

尹教授：跟平头哥的渊源很深，大概有十多年了，还在学校做科研的时候，就跟中天微有这种合作，现在的合作是水到渠成的一个事情。在这颗芯片开始做的时候，因为对中天微，对平头哥的这种彼此了解，对他们的处理器是很放心的，很自然的就放了进来。平头哥的无剑平台提供了一种基础的设施，各个芯片设计公司可以更专注到自己特别擅长、有优势的领域，而在这些通用性方面就可以少花精力，公司就可以更加的专业。芯片设计还是具有比较高的门槛，有平头哥的存在，就可以让专业的公司更加专注创新，从底层架构上开始创新，这是对于整个行业来说，是很好的事情。