编者按:IoT一直是雷声大雨点小,但是在今年的会议上无论是演讲篇幅还是披露的相关进展都在预示着一个新的时代的来临,IoT的爆发只是个时间的问题,等待的只是那个临门一脚,正如智能手机爆发的前夜。IoT相关的技术储备从标准、硬件到软件生态都已经就绪,从商业上来看IoT也在各个领域如物流、医疗健康、智能硬件、汽车等行业慢慢渗透,但是目前IoT的价值还没有完全显现出来,IoT的核心还是在于数据,只有当数据产生、蓄积、流转并产生价值之后IoT才会展现出他真正的威力和应有的地位。
IoT(Internet of Things 物联网)最近几年才开始热起来,但是严格来讲IoT已经存在了很长时间,如工业设施中的一些传感器网络、用于气象采集和地震数据采集的网络、超市或停车场的NFC网络等等,只不过在IoT成为一种显学之前这些数据都是孤立的,每一个网络都是一个信息孤岛,只有当这些网络联通、其中的数据能够流转并能持续产生价值并重塑每个行业的时候IoT才算真正地降临。
本次大会IoT也得到了很多的关注,来自Riak的同行分享了对IoT的理解和思考,以及对IoT数据处理的一些探索,Riak本身也IoT数据处理方面积极做准备。主讲人对IoT相关的行业做了一些梳理,主要有:制造业、交通、国防、农业、矿物勘探及采油、保险、智能家庭、餐饮、基建、零售、物流、银行、医疗、保健、智能建筑、公共设施等。根据披露的数据,IoT 2016年的市场规模在64亿美金左右,2020年会到达210亿美金,平均每年增长率在30%左右,平均每天有550万个设备被激活,到2020年时我们的生产和生活有一半都是和IoT相关,大约会有6万亿美金投资在IoT解决方案上,而硬件和应用开发会占大头:
所以对于IoT项目来讲,需要关注以下几个方面:
A:IoT相关的协议(如CoAP,MQTT,HTTP)、会产生哪些数据(温度、湿度、位置、速度等),厘清这些之后并投入
B:实现数据收集的协议和解析过程,然后把这些数据存储/汇集在“Data Lake”中
C:数据存储在“Data Lake”后,对数据进行分析挖掘然后用以预测和发现未知
整体架构如图:
但是如作者所说,整个过程是漫长和浩大的。
而且IoT的生态也是足够复杂,如图:
在IoT的整个数据链条上,作者给出了一个wishlist:
A:网络可靠性,如光纤网络
B:数据投递,需要专用的管道
C:端到端低延迟,需要足够强的信号
D:服务质量,扛干扰和交串
E:工程拓扑,需要高的信噪比
F:承诺信息速率,需要低的误码率
但实际情况要糟糕很多:
A:无线技术,采用的都是低成本的硬件
B:共享传输媒介,采用的是低功耗的无线电传输
C:带宽受限,采用的是很短的天线
D:Mesh或Ad-hoc拓扑技术,采用的是定制的firmware
E:很可能有信号干扰,采用的是CoAP协议
F:乱序或者丢包,采用“shoot and forget”的模式
IoT是不折不扣的大数据,数据的特点有:
速度:大量的small writes,低延迟读很多,流式更新;
多样性:传感器数据、用户和设备资料、时序数据;
规模上:开始很小,增长很快7*24*365,会随业务爆发,需要很好的retention策略;
精确性:由于设备成本低精度低,所以不能假设是可靠的,数据可能会损坏或者在传输过程中丢失;
价值:profiles和summaries数据会比原始数据有价值,近期的原始数据会比历史数据更有价值,聚合出的数据会比原始数据更有价值
复杂性:数据schema比较简单,为了速度和灵活性考虑会有些非结构化的数据
处理这些IoT大数据需要的技术能力有:
处理原始时序数据:吞吐高,能快速读取最新数据
处理聚合的时序数据:SQL查询、聚合、数学运算、用于分析的大块查询、二级索引
高效存储:自动数据过期、压缩、热备
处理Profiles和元数据:并行低延迟读、可靠写、结构化和半结构化、二级索引和文本索引
可扩展性和可用性:分布式、线性扩展 scale up/down
易操作:架构无master、自动均衡、可滚动升级
可用于存储这些IoT数据的数据库有:
处理IoT数据的完整技术栈有:
来自ApsaraDB的解决方案有:
Relational | K-V | Document | Wide Colunmn | Graph | Time Series |
MySQL | Redis | MongoDB | HBase | 无 | PetaData |
SQL Server | MemCache |
|
|
|
|
PostgreSQL |
|
|
|
|
|
值得一提的是ApsaraDB的PetaData产品是一个支持PB级别存储的分布式关系数据库,底层采用TokuDB引擎,压缩比在10:1左右,而且PetaData支持按时间Retention,所以天然是个时序数据库,PetaData还自带搜索功能,支持丰富的全文搜索,PetaData也是OLTP和OLAP的融合,所以算是IoT时代的一把利器,这也是ApsaraDB对IoT对未来的投资。
总结:IoT喊了那么多年,终于要从闺阁下楼了,但是IoT实在太大,是远比移动互联网要大得多、包容得多的生态,每个人每个行业都会或主动或被动成为这个生态中的一环或多环。在IoT时代,大家的区别会来自于对数据理解深度的高低不同,在数据面前,传统公司和所谓的互联网公司地位是等同的,未来属于能真正洞察数据的个人和组织。当下,我们能做的就是为此做好技术和人力储备,然后等风来。