局域网内搭建虚拟机集群

虚拟机2台:(两台笔记本上临时搭建)

DELL :8G内存

Thinkpad:12G内存

虚拟机版本号: vmware12

系统版本: CentOS-6.6-x86_64-minimal.iso


一.  虚拟机集群的搭建

虚拟机的搭建主要分为以下几个部分:

1.    虚拟机的安装

2.    虚拟机系统安装

3.    虚拟机系统配置文件的修改以及集群之间的通信连接

 

由于这里使用了两台笔记本,Dell上面的虚拟机有两个节点(node-01和node-02).Thinkpad上的虚拟机有三个节点(node-03,node-04,node-05),虚拟机的搭建过程这里省略,详细步骤见我的博客,地址:

 

五台虚拟机节点的hosts文件如下:

192.168.1.3  node-01  gygh-master

192.168.1.4 node-02  gygh-slave1

192.168.1.5 node-03  gygh-slave2

192.168.1.6 node-04  gygh-slave3

192.168.1.7 node-05  gygh-slave4

 

因为公司局域网不是特别稳定.这五台节点是使用一根网线插在两台笔记本的网口上,实现两台笔记本的局域网通信,步骤如下:

1.    找一根网线插在两台笔记本上网口上

2.    设置其中一台笔记本为主机,这里主要是设置ip地址参数

 

这里主要是设置主机ip地址和网关,为192.168.1.1

3.    同样设置另外一台主机的ip地址为192.168.1网段,网关为192.168.1.1即可.

4.    设置完之后,通过ipconfig命令相互之间访问看是否可以ping通

5.    设置虚拟机的桥接

6.    开启虚拟机,设置配置文件,主要是以下几个配置文件:

Ø  /etc/sysconfig/network  查看node节点的名称是否正确

Ø  /etc/hosts  将五台节点的ip和映射配置进去

192.168.1.3         node-01  gygh-master

192.168.1.4         node-02  gygh-slave1

192.168.1.5         node-03  gygh-slave2

192.168.1.6         node-04  gygh-slave3

192.168.1.7         node-05  gygh-slave4

 

Ø  /etc/sysconfig/network-scripts/ifcfg-eth0

DEVICE=eth0

TYPE=Ethernet

ONBOOT=yes

NM_CONTROLLED=yes

BOOTPROTO=static

 

#IPADDR NETMASK GATEWAY DNS1 DNS2

 

IPADDR=192.168.1.7

NETMASK=255.255.255.0

GATEWAY=192.168.1.1

DNS1=8.8.8.8

DNS2=114.114.114.114

这里需要注意的是,需要将uuid和hwaddr删除,以及onboot修改为yes,bootproto修改为static

7.    设置完毕之后,通过ifconfig查看ip地址是否修改,如果出现网卡冲突的问题,可以通过   rm –rf  /etc/udev/rules.d/70-persistent-net.rules  解决.

8.    关闭开机启动防火墙. chkconfig iptables off

9.    重启下服务器:reboot

10.  通过securecrt连接五台服务器


  • 1
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
### 回答1: 要在两台局域网PC上搭建Hadoop集群,需要按照以下步骤进行操作: 1. 配置网络:确保两台PC在同一个局域网内,可以通过路由器或交换连接它们,并且给每台PC分配一个独立的IP地址。 2. 安装Java:在每台PC上都需要安装Java Development Kit(JDK),并配置Java环境变量。 3. 下载Hadoop:从Apache Hadoop的官方网站上下载适用于Windows系统的Hadoop二进制文件。 4. 配置Hadoop:解压下载的Hadoop二进制文件,并在每台PC上修改hadoop-env.cmd文件,设置JAVA_HOME环境变量。 5. 配置Hadoop集群:在其中一台PC上作为主节点(NameNode),编辑core-site.xml和hdfs-site.xml配置文件。在另一台PC上作为从节点(DataNode),也编辑core-site.xml和hdfs-site.xml配置文件。确保在配置文件中正确指定各节点的IP地址和端口号。 6. 启动Hadoop集群:首先在主节点上启动Hadoop集群的NameNode和ResourceManager。然后在从节点上启动DataNode和NodeManager。可以通过命令行运行start-dfs.cmd和start-yarn.cmd启动Hadoop集群。 7. 验证集群:打开浏览器,输入主节点IP地址和端口号来访问Hadoop的Web界面。确认Hadoop集群的运行状态以及每个节点的连接状态。 通过以上步骤,可以在两台局域网PC上成功搭建Hadoop集群。注意要保持PC的网络连接稳定,并适当调整Hadoop的配置文件以适应实际需求。 ### 回答2: 搭建一个基于Windows的Hadoop集群需要按照以下步骤进行操作: 1.安装Java:Hadoop是基于Java开发的,所以首先需要在两台PC上安装Java运行环境。确保PC上已经安装了合适版本的Java,并将Java的环境变量正确设置。 2.下载Hadoop:从Apache官方网站上下载最新的Hadoop版本,并将其解压到一个目录中。 3.配置系统环境变量:在系统环境变量中添加一下两个变量: - HADOOP_HOME: Hadoop解压目录的路径 - PATH:添加% HADOOP_HOME% \ bin 4.配置Hadoop文件:进入Hadoop解压目录的`etc/hadoop`目录,修改以下配置文件: - core-site.xml:设置Hadoop的核心配置,如hadoop.tmp.dir和fs.defaultFS。 - hdfs-site.xml:设置HDFS配置,如dfs.replication和dfs.namenode.name.dir。 - yarn-site.xml:设置YARN配置,如yarn.nodemanager.aux-services和yarn.resourcemanager.hostname。 5.配置主文件:进入Hadoop解压目录的`etc/hadoop`目录,编辑`slaves`文件,列出所有作为集群节点的PC的主名或IP地址。 6.复制配置文件:将Hadoop解压目录的`etc/hadoop`目录复制到所有其他集群节点的相同位置。 7.启动Hadoop服务:在一个节点上启动Hadoop服务,打开命令行窗口并输入命令:`start-all.cmd`,这会启动HDFS和YARN服务。 8.测试Hadoop集群:打开Web浏览器,输入`http://<节点IP地址>:50070`,可以查看Hadoop的NameNode状态;输入`http://<节点IP地址>:8088`,可以查看YARN的ResourceManager状态。 重复以上步骤,将另一台PC配置为另一个节点。现在你已经成功搭建了一个基于Windows的Hadoop集群。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值