hadoop-2.7.3 在windows环境下安装(无需Cygwin)

最新已更新至2.8.0


最近折腾文件系统,用到了hadoop,虽然项目是部署在Linux下的。但自己平时开发用的是windows系统(本人用的是win10 64bit)。为了方便开发和调试,所以打算在windows环境下安装hadoop。 

       往上找了几篇文章,都说得不是很详细。安装过程中遇到了一些问题,索性自己折腾了一番,终于搞好了。

准备条件:

首先需要下载 hadoop的tar.gz包,目前最新版本是2.7.3 下载地址:http://hadoop.apache.org/releases.html

然后确保操作系统是64bit,已安装.netframework,要4.0以上版本,一般现在的windows系统都有自带的。

第三是配置好java环境,至于java环境的配置这里不介绍,百度一下就知道了。我这里用的是JDK1.7.80。

重点:因为是在windows下面安装的,跟Linux下不一样,所以我们需要windows下运行的链接库。这个库我已经基本配置好,直接覆盖就可以使用了。除了JDK路径,一般不需要改其他东西。

          下载地址:http://download.csdn.net/detail/kokjuis/9706480

开始:

确保上述的条件以后,我们开始来安装hadoop。

1)解压下载好的 hadoop-2.7.3.tar.gz  到某个盘下,注意路径里不要带空格,否则可能会无法正确识别。

2)解压hadooponwindows-master.zip,直接覆盖到hadoop-2.7.3根目录。

3)配置hadoop环境变量(跟配置JAVA环境变量类似)。 创建HADOOP_HOME,另外在Path下添加 %HADOOP_HOME%\bin

4)到hadoop根目录,如果没有data文件夹的话就新建一个,然后在data下分别创建datanode、namenode两个文件夹

5)用记事本打开 \hadoop-2.7.3\etc\hadoop\hadoop-env.cmd文件,修改JAVA_HOME为你自己jdk路径。注意:如果你的JDK安装在Program Files目录下,名称用\PROGRA~1\Java 否则中间的空格可能会识别失败。

到这里,配置基本已经完成,如果你想改访问路径,可以到etc/hadoop目录下的core-site.xml文件修改:

[html]  view plain  copy
  1. <configuration>    
  2.   <property>    
  3.     <name>fs.default.name</name>    
  4.     <value>hdfs://localhost:9000</value>    
  5.   </property>    
  6. </configuration>   



最后,点击命令提示符(管理员)运行命令提示符,切换到hadoop的安装目录。进行以下操作


1、切换到etc/hadoop目录,运行hadoop-env.cmd

2、格式化HDFS文件系统,切换到bin目录然后执行命令:hdfs namenode -format


到这里,你的hadoop就可以正常使用了。可以查看一下版本 hadoop version





启动:

切换到 sbin目录 执行:start-dfs.cmd 


查看hadoop管理页面:http://localhost:50070

下载和安装Hadoop 2.7.3版本需要几个步骤: 1. **下载文件**: - 从Apache Hadoop官网(https://hadoop.apache.org/releases.html)下载hadoop-2.7.3.tar.gz,这是Hadoop的二进制包,包含了Hadoop的核心组件。 - 也下载hadoop-eclipse-plugin-2.7.3.jar,这是一个Eclipse插件,用于Eclipse集成开发环境的支持。 - 同时还需要hadop-common-bin-master.zip,这可能是Hadoop的一部分,但通常Hadoop的发行版不会提供单独的common-bin包。 2. **解压二进制包**: 使用tar命令解压hadoop-2.7.3.tar.gz,通常在你的服务器或机器的一个目录下创建一个名为`hadoop-2.7.3`的新目录,并将压缩包解压到其中。 ``` tar -xvf hadoop-2.7.3.tar.gz -C /path/to/your/directory ``` 3. **配置**: 进入解压后的目录,编辑`conf/hadoop-env.sh`等配置文件,设置环境变量如JAVA_HOME、HADOOP_HOME等。如果需要,还需编辑核心配置文件如`core-site.xml`, `hdfs-site.xml`等。 4. **安装Eclipse插件**: 将hadoop-eclipse-plugin-2.7.3.jar放入Eclipse的plugins目录下,然后重启Eclipse以便加载插件。在Eclipse里,你可以通过Help > Install New Software...找到并安装它。 5. **获取common-bin部分**: 如果你需要的是hadoop-common-bin-master.zip,确认它的来源是否可靠。一般情况下,Hadoop发行版已经包含所有必要的binaries。如果确实需要,解压后放到Hadoop的bin目录下即可。 6. **启动服务**: 在Hadoop安装目录下的sbin目录下运行启动脚本(如`start-all.sh`),启动Hadoop的服务。 记得根据你的系统需求进行适当的调整,例如权限设置和网络配置等。安装完成后,检查日志文件以确保一切正常运行。
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值