微软大数据
feng1456
热爱技术,勤于学习,乐于分享!
展开
-
浅析微软大数据平台HDInsight (3) 分布式文件系统(中)
上一章我们探讨了Hadoop中的HDFS文件系统,本章我们主要来探讨微软HDInsight平台特有的WindowsAzure Blob Storage文件系统。说到WABS,我们首先解释下什么叫BLOB.所谓的Blob,就是Binary Large Object,二进制大对象。在Windows Azure的存储上面,把这种二进制大对象具体分为2种。一种被称为Block Blob转载 2015-01-17 01:48:34 · 751 阅读 · 0 评论 -
浅析微软大数据平台HDInsight (1)
大数据!这对我们来讲早已不是一个陌生的词汇。 什么是大数据?大数据,故名思议,首先它是一套数据集的集合。然后这个集合非常大,非常复杂,以至于使用一般的数据库管理工具或者传统的数据处理程序会很难对它进行处理。 那哪些数据是属于大数据的范畴?根据大数据的定义,我们可以举出一些大数据的例子:比如,传统的大数据有物理实验数据,各种感应器的数据,卫星数据等等。随着人类社会的发展,转载 2015-01-17 01:42:48 · 921 阅读 · 0 评论 -
浅析微软大数据平台HDInsight (2) 分布式文件系统(上)
在HDInsight中,微软提供了两种文件系统。在On premise版本的HDInsight中,也就是HortonWorks Data Platform for Windows中,以及Parallel Data Warehouse中的HDInsightregion中,微软提供了Hadoop的HDFS作为文件系统。在Windows Azure HDInsight Service中,微软转载 2015-01-17 01:46:49 · 919 阅读 · 0 评论 -
浅析微软大数据平台HDInsight (4) 分布式文件系统(下)
上一章我们探讨了Hadoop中的Windows Azure Blob Storage文件系统的基本结构,本章我们主要来探讨微软Windows Azure Blob Storage文件系统的高可用性和负载均衡。 写的一致性和高可用性所有的写,都是在log的最后扩展下去的。它是扩展在那个log的最后一个extent的后面。它做到了数据写的一致性。我们来看看它是如何达到一个extent的转载 2015-01-17 01:50:38 · 791 阅读 · 0 评论