hadoop环境搭建和在本地用虚拟机模拟分布式集群的搭建

本文详述了使用VMware和CentOS搭建Hadoop分布式集群的步骤,包括配置免密码登录、安装JDK和Hadoop、设置HDFS、运行Wordcount示例。通过这个教程,读者可以学习到如何在虚拟环境中实践Hadoop集群的搭建。
摘要由CSDN通过智能技术生成

由于老师布置的大作业,以及对于想深入的实践下课堂学到的知识,记录下步骤,写了本篇文章。当然也走了一些弯路,希望大家能够一次成功吧。

需要的工具:

1:VMwave

2:centOS

可能会用到的东西:

1: centos的yum出现Could not retrieve mirrorlist解决方法

Centos7 安装wget报错,could not retrieve mirrorlist http://mirrorlist.centos.org/ 如图:
Centos7 <wbr>wget时出现could <wbr>not <wbr>retrieve <wbr>mirrorlist <wbr>http://mirrorlist.cento
看一下它的提示,把链接在浏览器运行一下,看看不能访问,如果不能访问,在linux下ping一下看看是不是网络链接正常。出现这种原因就是一般网络没链接好。
修改一下dns,找到/etc/sysconfig/network-scripts/ifcfg-eno33
注意一下,ifcfg-eno33后面的数字是随机产生的。


将unboot改为yes,重新启动网络,service network restart

2:配置centos的静态ip地址

 

进入/etc/sysconfig/network-scripts目录,找到该接口的配置文件(ifcfg-ens33)(名字为随机生成不一定一样)。如果没有,请创建一个。

 

打开配置文件并编辑以下变量:

 

在上图中,要设置成“BOOTPROTO=none”表示该接口不通过DHCP获取ip。“ONBOOT=yes”告诉我们,系统将在启动时开启该接口。

上图的getway网关地址在虚拟网络编辑器里面查看:

 

保存修改并使用以下命令来重启网络服务:

  1. systemctl restart network.service

现在验证接口是否配置正确:

  1. # ip add

 

三台虚拟机配置完成后可以使用ping命令来测试是否能通信。

 

测试成功!

3:在Windows下传文件到虚拟机

http://blog.csdn.net/guoxin91/article/details/31761505

开始搭建:

 

1.首先,克隆另外两台完全一模一样的虚拟机。

分别在3台虚拟机上做一下更新:#yum - y update  

后面要安装软件时,如果没有更新,在安装所需软件时,可能会说找不到软件

 

2.修改机器名和hosts文件。

第一步:修改三台虚拟机的机器名。

 

方法一:暂时修改机器名:hostname

 用hostname命令可以临时修改机器名,但机器重新启动之后就会恢复原来的值。 

 #hostname   //查看机器名 

 #hostname -i  //查看本机器名对应的ip地址 

方法二:永久性修改机器名:修改系统配置文件

修改/etc/sysconfig/network   //修改这个系统配置文件&#
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值