大数据是如此的真实,离我们越来越近,你不再需要繁复的Linux操作,拥抱Windows上的Hadoop——HDInsight吧。HDInsight是一个Windows平台上,100%兼容Apache Hadoop的实现。并且微软为其提供完全的技术支持,还等什么,我们一起来进入大数据的世界吧。
目前提供的HDInsight分两种版本:
On-Premises版,即HDInsight Server
Cloud版,即HDInsight Service
由于目前HDInsight Service还不是开放使用的,需要申请邀请,所以,我们用HDInsight Server来体验大数据的威力。
安装篇
=======================
目前,HDInsight的安装是通过Web Platform Installer来实现的,你不用关心所有的依赖关系,所有这些安装程序已经都替您做好了。有一点我们必须指出,事实上安装程序会安装两个主要的部件, Hortonworks Data Platform for Windows 和 Microsoft HDInsight,其余的必须组件如IIS等都会被安装程序自动安装。默认情况下,在一台干净的Windows Server 2012上安装HDInsight,会安装如下组件:
我们来分别讨论一下他们分别是什么:
Hortonworks Data Platform Installer
这个mis包含了Hadoop的核心实现(如Map/Reduce, HDFS),和一些在Hadoop生态系统中的其他Apache项目,下面是一个完整的列表:
· Map Reduce
· HDFS
· Hive
· Pig
· HCatalog
每个项目都被分别打包成了一个zip文件,他们都会包含一个Powershell脚本用来完成相应的安装。
Microsoft HDInsight Installer
这个msi包含了微软的实现相关的一些组件,它目前包含:
· HDInsight Dashboard
· Sqoop
· Isotope.js
· Getting started content
这些组件的打包方式和上面的Hadoop项目组建的方式类似。并且,它提供了一个可以用来初始化安装的Powershell脚本,如用来启动Hadoop组件的服务等。
中国用户的安装特殊考量
您是否已经迫不及待的想试试安装程序了呢?请等等!由于目前还是Beta版本的关系,当前大家在微软网站上下载的HDInsight Server还有一些问题,可能会导致安装失败。如果大家在计算机默认情况用中文来解析non-unicode字符,那么安装完成之后,你不会看到任何Hadoop的service。笔者分析了安装日志后发现,在create user的时候失败了,但是为什么呢?在分析了大量的安装脚本之后,笔者发现由于安装脚本中存在的一个non-unicode字符,导致了安装的失败。在C:\HadoopInstallFiles\HadoopPackages\hdp-1.0.1-winpkg.zip\scripts中的Create_hadoop_user.ps1脚本中,可以看到如下行:
$export.PSObject.TypeNames.Insert(0,扙xportedPSCredential?
就是改行导致了安装无法继续。
正确的行应该是:
$export.PSObject.TypeNames.Insert(0,’ExportedPSCredential’)
为了能够成功的安装,建议大家将Windows服务器的Region Setting改成English (United Stats)
之后的安装就可以顺利安装完成了。
安装完成之后,大家就可以在桌面上看到下面的图标:
点击Microsoft HDInsight Dashboard,如果你看到如下的页面,那么恭喜您,安装成功了:
怎么样?动手试一下吧?
转自:http://blogs.msdn.com/b/apgcdsd/archive/2013/04/10/hdinsight.aspx