作为企业级大数据平台,各厂商在集成开源技术的同时,也会在其基础之上发展各种针对性的技术,满足企业各方面的需求。下面我们就简要给大家介绍IBM在BigInsights大数据平台中,针对企业的备份恢复、多租户等需求所进行的一系列扩展。
文件系统的扩展(Spectrum Scale)
说到文件系统的扩展,肯定很对人会有这样的疑问:“什么?Hadoop的基础之一就是HDFS,企业级大数据平台会把这个基础也改了吗?”。自然HDFS作为Hadoop中的基础模块,其重要性不言自明。然而作为开源的组件,在企业级应用中很难达到企业及应用的要求,例如数据备份和数据加密,直到Hadoop2.6出现之后,HDFS中才开始正式加入数据加密模块并且还在不断完善中。其实,现行各种不同的文件系统都具有各自的特色,适用于不同的企业应用场景,如ClusterFS就是Mac系统中使用的文件系统,具有良好的数据压缩特性。
从上表可看出,除了IBM,其他业界主流的大数据厂商也在企业级大数据产品中使用了扩展自HDFS的文件系统,如MapR扩展文件系统可提供全读写操作等。IBM在