首先centOS需要一个桌面环境,才能用远程桌面对eclipse进行开发使用。
[hadoop@master ~]$ sudo yum groupinstall "GNOME Desktop" "Graphical Administration Tools"
下面这个命令好像可以看你装的桌面有哪些。
[hadoop@node1 system]$ yum grouplist
这里的远程桌面工具使用VNC。Xmaneger?抱歉贫穷阻挡了我前进的脚步
[hadoop@node1 packages]$ sudo yum install tigervnc-server -y
[hadoop@node1 packages]$ vncpasswd root
Password:
Verify:
Would you like to enter a view-only password (y/n)? n
A view-only password is not used
配置两个可以远程操作的桌面:
[hadoop@node1 packages]$ sudo cp /lib/systemd/system/vncserver@.service /etc/systemd/system/vncserver@:1.service
[hadoop@node1 packages]$ sudo cp /lib/systemd/system/vncserver@.service /etc/systemd/system/vncserver@:2.service
[hadoop@node1 system]$ sudo vim /etc/systemd/system/vncserver\@\:1.service
[hadoop@node1 system]$ sudo vim /etc/systemd/system/vncserver\@\:2.service
网上有一些教程会复制到与源文件在同一目录下,反正我的始终是不行的...后来才发现这个教程,简直是我滴大救星啊啊啊啊!!就是里面的配置文件不太完整。我的配置文件如下:亲测可用~
[Unit]
Description=Remote desktop service (VNC)
After=syslog.target network.target
[Service]
Type=forking
# Clean any existing files in /tmp/.X11-unix environment
ExecStartPre=/bin/sh -c '/usr/bin/vncserver -kill %i > /dev/null 2>&1 || :'
ExecStart=/sbin/runuser -l root -c "/usr/bin/vncserver %i"
PIDFile=/root/.vnc/%H%i.pid
ExecStop=/bin/sh -c '/usr/bin/vncserver -kill %i > /dev/null 2>&1 || :'
[Install]
WantedBy=multi-user.target
配置完成,启动!
[hadoop@node1 system]$ vncserver :1
会让你输密码,输完后就可以打开win的VNC客户端进行连接了。
在客户端中输入:
192.168.40.40:1
也会让你再输入密码,然后就可以远程桌面控制啦~
win10上安装客户端版的VNC,下载地址在这里。
之前下载的许多VNC配置多多少少都有问题。可以通过
rpm -qa | grep vnc
命令查看安的关于VNC的软件
通过以下命令进行删除
yum remove [package]
yum提示Another app is currently holding the yum lock; waiting for it to exit...
rm -f /var/run/yum.pid
centOS上要有java,eclipse,eclipse的下载地址在这里或者这里,我的jdk版本是1.8,因为1.11的jdk会出现与hadoop集权不匹配的错误和警告。
eclipse安装步骤:
# tar xf eclipse-jee-luna-SR2-linux-gtk-x86_64.tar.gz -C /opt #将eclipse解压到/opt目录下
# ln -s /opt/eclipse/eclipse /usr/bin/eclipse #创建软连接
centOS上要有ant,才能编译hadoop-eclipse的插件。
[hadoop@master ~]$ sudo yum install -y ant
emmmm好吧好像可以直接用...我原以为hadoop2.7版本需要重新编译,但实践证明是不需要的。
要在 Eclipse 上编译和运行 MapReduce 程序,需要安装 hadoop-eclipse-plugin,可下载 Github 上的 hadoop2x-eclipse-plugin(备用下载地址:http://pan.baidu.com/s/1i4ikIoP)。
下载后,将 release 中的 hadoop-eclipse-kepler-plugin-2.6.0.jar (还提供了 2.2.0 和 2.4.1 版本)复制到 Eclipse 安装目录的 plugins 文件夹中,运行 eclipse -clean
重启 Eclipse 即可(添加插件后只需要运行一次该命令,以后按照正常方式启动就行了)。
连接到hadoop集群并对hdfs进行I/O操作
添加hadoop目录
选择one perspective,在弹出的窗口中选择mapreduce
在如图的空白区域右键新建hadoop location,填上主机的IP
端口是defaultFS,即默认的DFS端口,在core-site文件中进行的配置。
创建完成后可以右键hdfs文件系统中的文件并对其进行上传下载的操作。
Tips
HDFS 中的内容变动后,Eclipse 不会同步刷新,需要右键点击 Project Explorer中的 MapReduce Location,选择 Refresh,才能看到变动后的文件。
点击查看HDFS文件系统数据的三种方法可进行扩展学习。
①借助eclipse
②http://IP地址:50070
③命令行:hdfs dfs -text ...
在eclipse中创建一个mapreduce项目
......
后续详见:http://dblab.xmu.edu.cn/blog/hadoop-build-project-using-eclipse/