centOS7.3__eclipse在hadoop集群平台上的安装配置

首先centOS需要一个桌面环境，才能用远程桌面对eclipse进行开发使用。

[hadoop@master ~]$ sudo yum groupinstall "GNOME Desktop" "Graphical Administration Tools"

下面这个命令好像可以看你装的桌面有哪些。

[hadoop@node1 system]$ yum grouplist

这里的远程桌面工具使用VNC。Xmaneger？抱歉贫穷阻挡了我前进的脚步

[hadoop@node1 packages]$ sudo yum install tigervnc-server -y

[hadoop@node1 packages]$ vncpasswd root
Password:
Verify:
Would you like to enter a view-only password (y/n)? n
A view-only password is not used

配置两个可以远程操作的桌面：

[hadoop@node1 packages]$ sudo cp /lib/systemd/system/vncserver@.service /etc/systemd/system/vncserver@:1.service
[hadoop@node1 packages]$ sudo cp /lib/systemd/system/vncserver@.service /etc/systemd/system/vncserver@:2.service

[hadoop@node1 system]$ sudo vim /etc/systemd/system/vncserver\@\:1.service 

[hadoop@node1 system]$ sudo vim /etc/systemd/system/vncserver\@\:2.service 

网上有一些教程会复制到与源文件在同一目录下，反正我的始终是不行的...后来才发现这个教程，简直是我滴大救星啊啊啊啊!!就是里面的配置文件不太完整。我的配置文件如下：亲测可用~

[Unit]
Description=Remote desktop service (VNC)
After=syslog.target network.target

[Service]
Type=forking

# Clean any existing files in /tmp/.X11-unix environment
ExecStartPre=/bin/sh -c '/usr/bin/vncserver -kill %i > /dev/null 2>&1 || :'
ExecStart=/sbin/runuser -l root -c "/usr/bin/vncserver %i"
PIDFile=/root/.vnc/%H%i.pid
ExecStop=/bin/sh -c '/usr/bin/vncserver -kill %i > /dev/null 2>&1 || :'

[Install]
WantedBy=multi-user.target

 

配置完成，启动！

[hadoop@node1 system]$ vncserver :1
会让你输密码，输完后就可以打开win的VNC客户端进行连接了。

在客户端中输入：

192.168.40.40:1

也会让你再输入密码，然后就可以远程桌面控制啦~

win10上安装客户端版的VNC，下载地址在这里。

之前下载的许多VNC配置多多少少都有问题。可以通过

rpm -qa | grep vnc

命令查看安的关于VNC的软件

通过以下命令进行删除

yum remove [package]

yum提示Another app is currently holding the yum lock; waiting for it to exit...

rm -f /var/run/yum.pid

centOS上要有java，eclipse，eclipse的下载地址在这里或者这里，我的jdk版本是1.8，因为1.11的jdk会出现与hadoop集权不匹配的错误和警告。

eclipse安装步骤：

# tar xf eclipse-jee-luna-SR2-linux-gtk-x86_64.tar.gz -C /opt      #将eclipse解压到/opt目录下
# ln -s /opt/eclipse/eclipse /usr/bin/eclipse     #创建软连接

centOS上要有ant，才能编译hadoop-eclipse的插件。

[hadoop@master ~]$ sudo yum install -y ant

emmmm好吧好像可以直接用...我原以为hadoop2.7版本需要重新编译，但实践证明是不需要的。

要在 Eclipse 上编译和运行 MapReduce 程序，需要安装 hadoop-eclipse-plugin，可下载 Github 上的 hadoop2x-eclipse-plugin（备用下载地址：http://pan.baidu.com/s/1i4ikIoP）。

下载后，将 release 中的 hadoop-eclipse-kepler-plugin-2.6.0.jar （还提供了 2.2.0 和 2.4.1 版本）复制到 Eclipse 安装目录的 plugins 文件夹中，运行 eclipse -clean 重启 Eclipse 即可（添加插件后只需要运行一次该命令，以后按照正常方式启动就行了）。

连接到hadoop集群并对hdfs进行I/O操作

添加hadoop目录

选择one perspective，在弹出的窗口中选择mapreduce

在如图的空白区域右键新建hadoop location，填上主机的IP

端口是defaultFS,即默认的DFS端口，在core-site文件中进行的配置。

创建完成后可以右键hdfs文件系统中的文件并对其进行上传下载的操作。

Tips

HDFS 中的内容变动后，Eclipse 不会同步刷新，需要右键点击 Project Explorer中的 MapReduce Location，选择 Refresh，才能看到变动后的文件。

点击查看HDFS文件系统数据的三种方法可进行扩展学习。

①借助eclipse

②http://IP地址:50070

③命令行：hdfs dfs -text ...

在eclipse中创建一个mapreduce项目

......

后续详见：http://dblab.xmu.edu.cn/blog/hadoop-build-project-using-eclipse/