HDInsight 简介

最新推荐文章于 2020-07-08 14:25:17 发布

Jason897

最新推荐文章于 2020-07-08 14:25:17 发布

阅读量9k

点赞数 2

分类专栏： Concept Distributed-Computing 文章标签： windows azure hadoop 大数据 HDInsight

Concept 同时被 2 个专栏收录

8 篇文章 0 订阅

订阅专栏

Distributed-Computing

8 篇文章 0 订阅

订阅专栏

Windows Azure HDInsight Service

HDInsight 是在 Windows Azure 上快速扩展 Apache Hadoop 技术堆栈（作为大数据分析的首选解决方案）的云实现。它包括 Storm、HBase、Pig、Hive、Sqoop、Oozie 等的实现。HDInsight 还可集成商业智能 (BI) 工具，例如 Excel、SQL Server Analysis Services 和 SQL Server Reporting Services。其预览版在2014年09月16日上线，正式版在2014年11月26日上线。

官方摘要

按需灵活扩展
HDInsight 是一种云技术驱动的 Hadoop 发行版。这意味着 HDInsight 架构能够处理任何数量的数据，按需将数据处理容量从数 TB 扩展至数 PB 级别。您可以随时快速创建任意数量的节点。我们只对您实际使用的计算和存储收取费用。

结构化、半结构化、非结构化，所有数据一网打尽
由于完全符合 Apache Hadoop 标准，HDInsight 能够处理来自网络点击流、社交媒体、服务器日志、设备和传感器等来源的非结构化或半结构化数据。借此您能够分析新的数据集，从中寻找新商机，推动组织向前发展。

使用您惯用的语言进行开发
HDInsight 具有强大的编程扩展能力，适用于多种语言，包括 C#、Java、.NET 等。您可在 Hadoop 上使用自己习惯的编程语言进行 Hadoop 作业的创建、配置、提交和监控。

无需采购或维护硬件
使用 HDInsight，您可在云中部署 Hadoop，无需购买新硬件，也无需其他前期成本。无需花费大量时间进行安装或设置, Windows Azure 可以为您完成这些工作。您可在几分钟内启动第一个群集。

到底是什么

HDInsight 是一个可以在 Azure 云中部署并且提供 Apache Hadoop 集群的服务，提供了对大数据进行管理，分析和报表的软件工具框架。它与Hadoop有着类似的生态圈，但又具有Microsoft的种种特色：
HDINSIGHT HADOOP Eco-System

Hadoop Ecosystem in Windows Azure

Why HDInsight

HDInsight is an Apache Hadoop implementation that runs in globally distributed Microsoft datacenters. It’s a service that allows you to easily build a Hadoop cluster in minutes when you need it, and tear it down after you run your MapReduce jobs. As Windows Azure Insiders, we believe there are a couple key value propositions of HDInsight. The first is that it’s 100 percent Apache-based, not a special Microsoft version, meaning that as Hadoop evolves, Microsoft will embrace the newer versions. Moreover, Microsoft is a major contributor to the Hadoop/Apache project and has provided a great deal of its query optimization know-how to the query tooling, Hive.

微软希望通过支持Windows Server和Windows Azure的Hadoop发布版，提供可移植、性能优越、安全且易部署等特性，促进Hadoop的应用。微软还将通过在HDInsight中集成Active Directory来增强Hadoop的安全性。此举将使IT部门能够将同样的一致性安全策略用于包括Hadoop集群在内的所有IT资产。

此外，通过与System Center集成，HDInsight简化了Hadoop的管理，并支持IT部门在同一面板上管理Hadoop集群、SQL Server数据库和应用程序。

基于Hadoop的Windows平台应用程序集成了如Excel、Power View和PowerPivot等微软的商业智能（BI）工具，可以很容易地分析大量的业务信息，从而创造独特的、差异化的商业价值。

为实现与Apache Hadoop百分之百的兼容性，微软的Hadoop发布版HDInsight是基于Hortonworks Data Platform（HDP）构建的。因此，客户能够将其MapReduce作业从自己的Windows服务器移到云中，甚至是移到运行在Linux上的Apache Hadoop发布版中。目前还没有其他厂商提供该功能。此外，在Windows Server和Azure平台上提供这些功能，也使客户能够利用熟悉的工具（如Excel、PowerPivot for Excel和Power View）轻松地从数据中抽取可行的观点。