hadoop集群搭建-Windows (hadoop cluster on Windows)

最新推荐文章于 2024-08-14 03:18:21 发布

tonyhuang_google_com

最新推荐文章于 2024-08-14 03:18:21 发布

阅读量7.5k

点赞数

分类专栏： misc

本文链接：https://blog.csdn.net/tonyhuang_google_com/article/details/10428921

版权

本文介绍了如何在Windows Server 2008 R2或2012上搭建Hadoop集群，使用HDP 1.1 for Windows。详细步骤包括环境准备、安装JDK、Python、.NET Framework、Visual C++ Redistributable，关闭防火墙和IPv6，启用远程脚本功能等。同时提供了单节点和多节点集群的搭建方法。

摘要由CSDN通过智能技术生成

Hortonwork公司推出了能在 windows平台上运行的大数据处理平台：HDP for Windows ,可以使得hadoop集群运行在 windows（windows server 2008 R2, windows server 2012）上。本文使用HDP 1.1 for Windows和Windows server 2008R2来搭建hadoop集群。

所需软硬件环境：
1)Windows Server 2008 R2 64bit 或者 windows server 2012 64bit。
2)JDK6u30以上版本。
3)python2.7或以上版本。
4)Microsoft.NET framework 4.0或以上版本。
5)Microsoft Visual C++ 2010 Redistributable Package (64 bit)。
可以用若干台机器来安装，也可以用一台机器借助虚拟化软件建多台虚拟机安装。
HDP 1.1 for Windows 下载地址： http://hortonworks.com/products/releases/hortonworks-data-platform-1-1-for-windows/#install
windows Server 2008 R2下载地址： http://www.microsoft.com/en-us/download/details.aspx?id=11093 ,可以试用 180 天。也可以下载iso 文件以虚拟机（Oracle virtualbox 或者 vmware ）安装（每个虚拟机 2G或 2G以上内存）。

1. 搭建一个单节点集群：

    1.1 下载并安装windows server 2008 R2
    1.2 下载并安装 Microsoft Visual C++ 2010 Redistributable Package (64 bit) ，文件名：vcredist_x64.exe, 下载地址： http://www.microsoft.com/en-us/download/details.aspx?id=14632
    1.3 下载并安装Microsoft.NET framework 4.0 , 文件名：dotNetFx40_Full_setup.exe, 下载地址：http://www.microsoft.com/en-us/download/confirmation.aspx?id=17851
    1.4 下载并安装jdk6u30以上版本(安装路径不要含有空格) ，设置 JAVA_HOME环境变量,并将%JAVA_HOME%\bin加入PATH系统环境变量. 验证:运行java -version命令
    1.5