最近在忙搭建集群环境,需求是这样的:
通过局域网搭建hadoop集群,集群是安装在虚拟机上面的,因此要保证局域网内的主之间可以ping通。
然后利用window下的eclipse去连集群,当然这要保证window和集群在同一个局域网内(目前是局域网内的实验),至于安装hadoop集群时步骤,晚上已经有很多,这里不多解释,同时在hadoop主机上安装myqsql,因为默认安装时5.5左右的版本,因此我的需求是要5.7的版本
故在网上找了很久,
可通过如下命令进行升级:
2
3
4
|
wget
http
:
/
/
dev
.mysql
.com
/
get
/
mysql
-
apt
-
config_0
.
3.5
-
1ubuntu14.04_all.deb
sudo
dpkg
-
i
mysql
-
apt
-
config_0
.
3.5
-
1ubuntu14.04_all.deb
sudo
apt
-
get
update
sudo
apt
-
get
install
mysql
-
server
-
5.7
|
2
3
4
|
wget
http
:
/
/
dev
.mysql
.com
/
get
/
mysql
-
apt
-
config_0
.
3.5
-
1ubuntu14.04_all.deb
sudo
dpkg
-
i
mysql
-
apt
-
config_0
.
3.5
-
1ubuntu14.04_all.deb
sudo
apt
-
get
update
sudo
apt
-
get
install
mysql
-
server
-
5.7
|
选择Server后选5.7,然后Apply就好了,和之前安装一样样的。
,安装完mysql后,在window上想要通过sqlyog连接虚拟机里面的mysql,
在第一次连接时会报拒绝连接的提示,因此第一连接时要采用SSH连接方式:
完成这些操作后在第二幅图里面点击连接即可。
然后就是window下eclipse连接hadoop集群了,因为我采用的是hadoop2.4.1所以要找对应的插件,下载地址:
https://github.com/winghc/hadoop2x-eclipse-plugin (虽然标注的是 2.2.0,但在 2.4.1 下是没问题的,应该在 2.x 版本下都可以)复制到 Eclipse 安装目录的 plugin 文件夹中)
打开eclipse:然后点击Window->Preferences,就会看到
则表示组件安装成功,然后点击Window->Open Perspectiver->other->点击红色那个,就会在左上角看到:
同时在正下方有:
右键,点击new hadoop Location出现编辑界面:
name随意填,
Host:127.0.。0.1这个是改成集群的Master的ip地址,而不是直接填写Master,是因为当填写Master时,当链接hdfs时,会出现listing folder content错误,而且,我们在配置core-site.xml,文件的时,也是建议大家用ip地址,而不是Master,用意就是在这个地方。
Port:9001,这个是和我们设置的core-site.xml的配置一样的,
DFS Master中,Prot:9000,
然后保存退出;
然后点击这个的DFS Locations
之后在左上角会出现如下小象的标识,代表安装成功:
这样就完成了window连接hadoop集群,同时在window下面通过eclipse操作集群。
最后的最后我会上传用到的eclipse-hadoop的插件。