centOS7.3__eclipse在hadoop集群平台上的安装配置

5 篇文章 0 订阅
2 篇文章 0 订阅

首先centOS需要一个桌面环境,才能用远程桌面对eclipse进行开发使用。

[hadoop@master ~]$ sudo yum groupinstall "GNOME Desktop" "Graphical Administration Tools"

下面这个命令好像可以看你装的桌面有哪些。

[hadoop@node1 system]$ yum grouplist

这里的远程桌面工具使用VNC。Xmaneger?抱歉贫穷阻挡了我前进的脚步

[hadoop@node1 packages]$ sudo yum install tigervnc-server -y

[hadoop@node1 packages]$ vncpasswd root
Password:
Verify:
Would you like to enter a view-only password (y/n)? n
A view-only password is not used

配置两个可以远程操作的桌面:

[hadoop@node1 packages]$ sudo cp /lib/systemd/system/vncserver@.service /etc/systemd/system/vncserver@:1.service
[hadoop@node1 packages]$ sudo cp /lib/systemd/system/vncserver@.service /etc/systemd/system/vncserver@:2.service

[hadoop@node1 system]$ sudo vim /etc/systemd/system/vncserver\@\:1.service 

[hadoop@node1 system]$ sudo vim /etc/systemd/system/vncserver\@\:2.service 

网上有一些教程会复制到与源文件在同一目录下,反正我的始终是不行的...后来才发现这个教程,简直是我滴大救星啊啊啊啊!!就是里面的配置文件不太完整。我的配置文件如下:亲测可用~

[Unit]
Description=Remote desktop service (VNC)
After=syslog.target network.target

[Service]
Type=forking

# Clean any existing files in /tmp/.X11-unix environment
ExecStartPre=/bin/sh -c '/usr/bin/vncserver -kill %i > /dev/null 2>&1 || :'
ExecStart=/sbin/runuser -l root -c "/usr/bin/vncserver %i"
PIDFile=/root/.vnc/%H%i.pid
ExecStop=/bin/sh -c '/usr/bin/vncserver -kill %i > /dev/null 2>&1 || :'

[Install]
WantedBy=multi-user.target

 

配置完成,启动!

[hadoop@node1 system]$ vncserver :1
会让你输密码,输完后就可以打开win的VNC客户端进行连接了。

在客户端中输入:

192.168.40.40:1

也会让你再输入密码,然后就可以远程桌面控制啦~

win10上安装客户端版的VNC,下载地址在这里

之前下载的许多VNC配置多多少少都有问题。可以通过

rpm -qa | grep vnc

命令查看安的关于VNC的软件

通过以下命令进行删除

yum remove [package]

yum提示Another app is currently holding the yum lock; waiting for it to exit...

rm -f /var/run/yum.pid

centOS上要有java,eclipse,eclipse的下载地址在这里或者这里,我的jdk版本是1.8,因为1.11的jdk会出现与hadoop集权不匹配的错误和警告。

eclipse安装步骤:

# tar xf eclipse-jee-luna-SR2-linux-gtk-x86_64.tar.gz -C /opt      #将eclipse解压到/opt目录下
# ln -s /opt/eclipse/eclipse /usr/bin/eclipse     #创建软连接

centOS上要有ant,才能编译hadoop-eclipse的插件。

[hadoop@master ~]$ sudo yum install -y ant

emmmm好吧好像可以直接用...我原以为hadoop2.7版本需要重新编译,但实践证明是不需要的。

要在 Eclipse 上编译和运行 MapReduce 程序,需要安装 hadoop-eclipse-plugin,可下载 Github 上的 hadoop2x-eclipse-plugin(备用下载地址:http://pan.baidu.com/s/1i4ikIoP)。

下载后,将 release 中的 hadoop-eclipse-kepler-plugin-2.6.0.jar (还提供了 2.2.0 和 2.4.1 版本)复制到 Eclipse 安装目录的 plugins 文件夹中,运行 eclipse -clean 重启 Eclipse 即可(添加插件后只需要运行一次该命令,以后按照正常方式启动就行了)。

连接到hadoop集群并对hdfs进行I/O操作

添加hadoop目录

选择one perspective,在弹出的窗口中选择mapreduce

在如图的空白区域右键新建hadoop location,填上主机的IP

端口是defaultFS,即默认的DFS端口,在core-site文件中进行的配置。

创建完成后可以右键hdfs文件系统中的文件并对其进行上传下载的操作。

Tips

HDFS 中的内容变动后,Eclipse 不会同步刷新,需要右键点击 Project Explorer中的 MapReduce Location,选择 Refresh,才能看到变动后的文件。

点击查看HDFS文件系统数据的三种方法可进行扩展学习。

①借助eclipse

②http://IP地址:50070

③命令行:hdfs dfs -text ...

在eclipse中创建一个mapreduce项目

......

后续详见:http://dblab.xmu.edu.cn/blog/hadoop-build-project-using-eclipse/

 

  • 1
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值