在linux中搭建hadoop开发环境

在linux中搭建hadoop开发环境

 

 

一、在windows上安装linux双系统

 

hadoop是运行在linux下的并行计算框架，在windows上搭建也是通过cygwin模拟linux的环境来运行，所以个人觉得直接在windows下搭建hadoop几乎没有任何好处，还不如在windows上安装linux的虚拟机，通过虚拟机中的linux系统来运行hadoop。所以安装linux双系统还是很有必要的。

安装linux双系统具体步骤参见http://jingyan.baidu.com/article/c275f6bacc3326e33c756743.html

 

 

 

 

二、在linux上安装jdk，并配置java环境

 

0.下载jdk8

登录网址：http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
选择对应jdk版本下载。（可在Windows下下载完成后，通过文件夹共享到Linux上）

1.登录Linux，切换到root用户

su     获取root用户权限，当前工作目录不变(需要root密码)

2.在usr目录下建立java安装目录

mkdir   usr/java

3.将jdk-8u60-linux-x64.tar.gz拷贝到java目录下并解压

cp    /mnt/hgfs/linux/jdk-8u60-linux-x64.tar.gz    /usr/java/

tar   -zxvf    jdk-8u60-linux-x64.tar.gz得到文件夹jdk1.8.0_60

4.编辑配置文件，配置环境变量

vi   /etc/profile
添加如下内容：
JAVA_HOME=/usr/java/jdk1.8.0_60
CLASSPATH=$JAVA_HOME/lib/
PATH=$PATH:$JAVA_HOME/bin
exportPATH JAVA_HOME CLASSPATH

5.重启机器或执行命令：source/etc/profile

查看安装情况:

java-version
javaversion "1.8.0_60"
Java(TM)SE Runtime Environment (build 1.8.0_60-b27)
JavaHotSpot(TM) Client VM (build 25.60-b23, mixed mode)

 

三、配置SSH免密码登录

 

 

1.确认已经连上互联网，输入命令

sudo apt-get install ssh

 

2.配置为可以无密码登录本机

首先查看在hewei（对应自己用户）用户下是否存在.ssh文件夹（注意ssh前面有“.”,表示这

是一个隐藏文件夹），输入命令：

ls   -a   /home/hewei

一般来说，安装SSH时会自动在当前用户下创建这个隐藏文件夹，如果没有，可以手动创建

一个。接下来，输入命令：

ssh-keygen -t dsa -P  '' -f ~/.ssh/id_dsa

这个命令会在.ssh文件夹下创建两个文件id_dsa及id_dsa.pub，这是SSH的一对私钥和公钥，

类似于钥匙及锁，把id_dsa.pub（公钥）追加到授权的key里面去。

输入命令：

cat   ~/.ssh/id_dsa.pub   >>   ~/.ssh/authorized_keys

这条命令是把公钥加到用于认证的公钥文件中，这里的authorized_keys是用于认证的公钥文件。

 

 

3.验证SSH是否已安装成功，以及是否可以无密码登录本机

输入命令：

ssh   -version

显示结果：

 

 

 

 

 

显示SSH已经安装成功了。

输入命令：

ssh   localhost

显示结果：

 

 

 

 

 

 

 

说明安装成功。

 

 

 

四、安装并运行hadoop ——伪分布式配置

 

1.进入conf文件夹，修改配置文件：

a.指定JDK的安装位置：

在Hadoop-env.sh中：

exportJAVA_HOME=”你的JDK安装位置”

 

b.配置HDFS的地址和端口号：

在conf/core-site.xml中：

<configuration>

<property>

<name>fs.default.name</name>

<value>hdfs://localhost:9000</value>

</property>

</configuration>

 

c.配置HDFS的备份方式：

在conf/hdfs-site.xml中：

<configuration>

<property>

<name>dfs.replication</name>

<value>1</value>

</property>

<property>

<name>dfs.permissions</name>

<value>false</value>

</property>

</configuration>

 

d.配置MapReduce中JobTracker的地址和端口：

在conf/mapred-site.xml中：

<configuration>

<property>

<name>mapred.job.tracker</name>

<value>localhost:9001</value>

</property>

</configuration>

 

f.格式化Hadoop并启动验证：

格式化Hadoop：

./bin/hadoop namenode-format

启动Hadoop：

./bin/start-all.sh(全部启动)

验证Hadoop是否安装成功，打开浏览器，分别输入网址：

http://localhost:50030(MapReduce的web页面)

http://localhost:50070(HDFS的web页面)

若都能查看，说明Hadoop已经安装成功。

 

五、在linux上安装Eclipse

 

1.安装eclipse：

(1)到http://www.eclipse.org/downloads/,下载eclipsefor linux版本,我下载后文件的完整名称为:

eclipse-java-galileo-SR1-linux-gtk.tar.gz
解压缩后，可以查看根目录下的

(2)将eclipse-SDK-3.2.1-linux-gtk.tar.gz这一个文件放到/opt目录下面（用root执行mv_ _语句才能移进opt文件夹）

(3)在shell中进入/opt/,执行：tar －zxvf   eclipse-SDK-4.2.1-linux-gtk.tar.gz语句，解压缩下载文件

(4)在shell中,进入到eclipse目录,cd/opt/eclipse设置文件eclipse执行权：chown-R root:你的用户名eclipse

(5)创建桌面连接
sudogedit   /usr/share/applications/eclipse.desktop

加入以下内容：

[DesktopEntry]

Encoding=UTF-8

Name=Eclipse

Comment=EclipseSDK

Exec=/home/hewei/App/Eclipse/eclipse

Icon=/home/hewei/App/Eclipse/icon.xpm

Terminal=false

Type=Application

Categories=Application;Development;

 

2.在eclipse中添加hadoop插件

（1）找eclipse安装目录
安装目录：/home/App/Eclipse/eclipse/plugins

把/home/hewei/下载/eclipse-plugin/hadoop-1.0.1-eclipse-plugin.jar

复制到plugins中，就有加载hadoop插件
（2）配置hadoop安装目录
window ->preference -> hadoop Map/Reduce -> Hadoopinstallation
directory:/home/grid/hadoop-1.0.1 ->点击“OK”
（3）配置Map/Reduce视图
window ->Open Perspective -> Map/Reduce -> 点击“OK”
window ->Show View -> 搜索“map/reduceLocations”视图选上->点击“OK”
在eclipse下方就出现了一个“Map/ReduceLocations选项卡”->空白地方右键选“New
Hadoop Location”
Location name：Mymapred
Map/Reduce Master : host -> localhost
DFSMaster : host -> localhost
（4）在左边projectexplorer列表框中找到“DFSLocations”右键refresh，就会看到
一个目录树，eclipse提供了一个目录树来管理HDFS系统，右键可以创建/删除目录，上传/
查看文件，操作起来很简单，内容与命令hadoopdfs -ls 结果一致

 

load加载
unload 卸载
upload 上传
download 下载