HDP（Hortonworks Data Platform）在windows下的安装详解

课程视频中老师说windows平台下也有相应的hadoop版本可以安装，搜寻了半天，发现除了采用cygwin之外，hortonworks公司给出了另一种方案，原生安装的windows版本hadoop，下载安装了一下，记录如下：

1.软件下载
下载地址： http://hortonworks.com/download/

2.准备windows环境
测试环境采用windows 2012 datacenter版本，测试版，未激活。

3.安装Microsoft Visual C++ 2010 Redistributable Package (64 bit)
下载地址： http://www.microsoft.com/en-us/download/details.aspx?id=14632

4.安装Microsoft.NET framework 4.0
下载地址： http://www.microsoft.com/en-us/d ... ation.aspx?id=17851
PS：这个其实不用下载，windows2012自带

5.安装JAVA JDK
下载自oracle官网（ http://www.oracle.com/technetwor ... nloads-1880260.html ），并安装至c:\java，根据hortonworks的文档提示，java最好不要安装到含有空格的目录中，如：c:\programe files之类的路径下。

6.配置JAVA运行环境
    6.1打开“控制面板\系统和安全\系统”，选择“高级系统设置”选项
 
    6.2点击“环境变量”
 
    6.3选择“系统变量”下的“新建”，建立“JAVA_HOME”环境变量
 
    6.4打开命令行（cmd），输入“java -version”校验安装配置是否正确
 

7.安装Python
下载地址： http://www.python.org/download/

8.配置Python运行环境
    8.1打开“控制面板\系统和安全\系统”，选择“高级系统设置”选项

    8.2点击“环境变量”

    8.3找到“系统变量”下的“PATH”，点击“编辑”，在最后增加Python安装路径：c:\python27
 
    8.5打开命令行（cmd），输入“python”校验安装配置是否正确
 

9.确认机器名称
打开命令行界面（cmd）执行“hostname”确认机器名称，为了方便，我修改了机器名称为node4（计划跟已经安装好的linux下的Hadoop集群做到一起去）。

10.配置防火墙
Hadoop运行需要打开一些端口，具体端口列表参见（ http://docs.hortonworks.com/HDPD ... win-chap-1-6-4.html ）
可以在命令行界面中输入如下命令打开相应的防火墙端口（其中的$PORT_NUMBER需要替换成对应的端口号，如9000）：

1. netsh advfirewall firewall add rule name=AllowRPCCommunication dir=in action=allow protocol=TCP localport=$PORT_NUMBER

复制代码

测试中为了简化操作，关闭了系统防火墙

11.编辑HDP的安装配置文件
新建“clusterproperties.txt"文件，拷贝粘贴下列代码：

1. #日志目录
   
2. HDP_LOG_DIR=c:\hadoop\logs
   
3. 
   
4. #数据目录
   
5. HDP_DATA_DIR=c:\hdp\data
   
6. 
   
7. #主机 (要替换下列红色字体部分的文字为你所安装的机器名称)
   
8. NAMENODE_HOST=${Hostname for your single node cluster}
   
9. SECONDARY_NAMENODE_HOST=${Hostname for your single node cluster}
   
10. JOBTRACKER_HOST=${Hostname for your single node cluster}
    
11. HIVE_SERVER_HOST=${Hostname for your single node cluster}
    
12. OOZIE_SERVER_HOST=${Hostname for your single node cluster}
    
13. TEMPLETON_HOST=${Hostname for your single node cluster}
    
14. SLAVE_HOSTS=${Hostname for your single node cluster}
    
15. 
    
16. #数据库所在主机
    
17. DB_FLAVOR=derby 
    
18. DB_HOSTNAME=${Hostname for your single node cluster}
    
19. 
    
20. #Hive 参数
    
21. HIVE_DB_NAME=hive
    
22. HIVE_DB_USERNAME=hive
    
23. HIVE_DB_PASSWORD=hive
    
24. 
    
25. #Oozie 参数
    
26. OOZIE_DB_NAME=oozie
    
27. OOZIE_DB_USERNAME=oozie
    
28. OOZIE_DB_PASSWORD=oozie

复制代码

红色部分应该替换成安装的机器名称，实验环境中我替换成了“node4”，具体的含义尚未做更多的研究。

12.安装HDP
执行

1. msiexec /i "hdp-1.1.0-GA.winpkg.msi" /lv "hdp.log" HDP_LAYOUT="C:\clusterproperties.txt" HDP_DIR="C:\hdp\hadoop" DESTROY_DATA="no"

复制代码

13.启动HDP

1. cd <$PATH_TO_HDP_DIR>
   
2. start_local_hdp_services

复制代码

14.验证安装及启动是否成功

1. Run-SmokeTests

复制代码

 

总结：集成发行版安装很是简单顺利，不过暂时还没有研究如何与linux下的hadoop集群的集成，主要是对hadoop还处于非常浅薄的认识当中，后续课程中学了更多的hadoop的知识后再考虑把它集成进来吧。