windows 访问linux hadoop,windows下远程连接linux系统下hadoop_并开发调试.pdf

windows下远程连接linux系统下hadoop_并开发调试

Windows 下远程连接 linux 系统 hadoop

并开发调试

目录

一、 准备工作

二、 Hadoop 安装

三、 Eclipse 配置

四、 远程调试配置

注：此文档将基本流程解释清楚，希望阅读者活学活用，不要拘泥。

一、 准备工作

(一) 软件准备、硬件准备

1、 软件：

Eclipse 3.5.0

Hadoop-hadoop-0.20.2

Java 1.6

Cygwin

2、 硬件：

WINDOWS XP 编程机器一台

CentOS 5.5 Hadoop 安装机一台

(二) 安装JAVA 虚拟机

在官网 下载jdk-6u19-linux-i586.bin，之后直接安装

[root@sc706-26 java]#chmod +x jdk-6u19-linux-i586.bin

[root@sc706-26 java]# ./jdk-6u19-linux-i586.bin

我的安装路径为：/usr/java/jdk1.6.0_19，安装后添加如下语句到/etc/profile

中：

export JAVA_HOME=/usr/java/jdk1.6.0_19

export JRE_HOME=/usr/java/jdk1.6.0_19/jre

export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH

export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH

(三) 安装Cygwin

PDF 文件使用 "pdfFactory Pro" 试用版本创建

先去下载一个安装文件，完后运行，这只是 个引导的程序，真正的程序要通过它

下载才能安装，当要选择下载站点时，输入：http://www . 然后就可以选择要安装

的程序，默认的时候没有安装OpenSSH，所以要手动选择，在Net 类别下，选上OpenSSH

和OpenSSL 两项。

之后，设置环境变量，把

c:/cygwin/bin;c:/cygwin/usr/bin

加入到系统环境变量的Path 中。

二、 Hadoop 安装

(一) hadoop 的三种模式

PDF 文件使用 "pdfFactory Pro" 试用版本创建

hadoop 安装有三种模式：单机模式，伪分布式，完全分布式。

1、单机模式： 没意义，pass 掉，不讨论。

2、 伪分布式： 就是在一台机器上模拟namenode、datanode、jobtracker、

tasktracker、secondaryname。每一个存在的形式是一个java 进程。

3、完全分布式：就是一个hadoop 集群，有n 台机器组成， 般组织方式是： 台机

器作为master，上面 运行 namenode 和jobtracker,另外的机器作为slave，上面运行

datanode