# Hadoop搭建——部署准备，linux基础操作

最新推荐文章于 2024-07-03 11:33:10 发布

诺旭

最新推荐文章于 2024-07-03 11:33:10 发布

阅读量173

点赞数

本文链接：https://blog.csdn.net/weixin_44173294/article/details/107752849

版权

hadoop 专栏收录该内容

0 篇文章 0 订阅

订阅专栏

Hadoop搭建——部署准备，linux基础操作

前言：

Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。在自己的计算机学习中，我们需要应用linux,在企业中大数据处理的是自己企业的内部服务器，其服务器的操作系统大多数是Linux系统。在VMware中我们需要搭建三台虚拟机类模拟多台服务器。

资源：

百度网盘：
链接：https://pan.baidu.com/s/1GPLLH0EiHyTb6FsisHOxvw
提取码：djpk

内容：

1、虚拟机与主机的网络互通、如图所示：

配置虚拟机的网络参数
在这里插入图片描述
配置主机的VMnet8的参数

2、修改linux用户名及网络配置，如图所示

	修改用户名为hadoopmaster
	代码：vi /etc/sysconfig/network

在这里插入图片描述
修改网络IP
代码：vi /etc/sysconfig/network-scripts/ifcfg-eth0

DEVICE=eth0     #网卡设备名称

ONBOOT=yes      #启动时是否激活 yes | no

BOOTPROTO=static        #协议类型

IPADDR=192.168.20.10    #网络IP地址

NETMASK=255.255.255.0       #网络子网地址

GATEWAY=192.168.20.1     #网关地址

BROADCAST=192.168.1.255     #广播地址

HWADDR=00:0C:29:FE:1A:09        #网卡MAC地址

TYPE=Ethernet       #网卡类型为以太网

在这里插入图片描述
检查：
（1）代码：ifconfig
（如果ifconfig,没有IP地址。解决办法：service network restart 重启一下网络服务）
（2）关闭windows系统的防火墙，检查ping一下网关，以及ping一下waindows
代码：
ping 192.168.20.1 网关
ping 192.168.20.100 windows
（3）从windows命令框中ping一下hadoopmaster
代码：
ping 192.168.20.10

3、关闭Linux的防火墙

（1）暂时关闭防火墙(iptables, ip6ables)
代码：
service iptables status 查看防火墙的状态
service iptables stop
service ip6ables stop
(ip6tables命令和iptables一样，都是linux中防火墙软件，不同的是ip6tables采用的TCP/ip协议为IPv6。)
（2）永久性关闭防火墙((iptables, ip6ables)
代码：
chkconfig iptables off
chkconfig ip6tables off

4、创建用户（企业中我们操作的都是普通用户）

代码：
userad 用户名
passwd 用户名

5、sudo设置

sudo是linux系统管理指令，是允许系统管理员让普通用户执行一些或者全部的root命令的一个工具。在root用户下执行下面的命令！
代码：
（1）echo “用户名 ALL = (root) NOPASSWD:ALL” | tee /etc/sudoers.d/syp
说明：tee命令主要被用来向standout(标准输出流,通常是命令执行窗口)输出的同时也将内容输出到文件
（2）chmod 0440 /etc/sudoers.d/用户名
解决sudo: sorry, you must have a tty to run sudo问题，在/etc/sudoer注释掉 Default requiretty 一行
（3）sudo sed -i ‘s/Defaults requiretty/Defaults:用户名 !requiretty/’ /etc/sudoers
说明：无此命令时，ssh远程连接会抛异常

6、安装SecureCRT和SecureFX

安装包中含有详细教程，我们在这里不多解释。

7、安装java

（1）在用户创建一个目录：
代码：mkdir /home/syp/software
（2）解压压缩包
代码：tar -zxvf jdk_8u45-linux-x64.tar.gz -C /home/syp/software
（3）编写环境变量
代码：sudo vi /etc/profile
内容： export JAVA_HOME=/home/syp/software/jdk1.8.0_45
export JRE_HOME=/home/syp/software/jdk1.8.0_45/jre
export CLASSPATH= $JAVA_HOME/lib/dt.jar:$ JAVA_HOME/lib/tools.jar: $JRE_HOME/lib export PATH=$ PATH:$JAVA_HOME/bin

（4）重启环境变量
代码：source /etc/profile
（5）检查：
代码： java
javac
观察是否有显示内容，如果没有检查环境变量；

8、克隆虚拟机

克隆两台虚拟机，都是克隆hadoopmaster,分别命名为hadoopslave01,hadoopslave02
步骤：点击hadoopmaster鼠标右键（如图所示）->管理->克隆->下一步->选中（虚拟机当前状态）->下一步->选中（创建完整克隆）->修改名称，位置->完成
(克隆虚拟机，会将被克隆的主机所有内容，全部克隆，拥有所有主机拥有的内容）
在这里插入图片描述

9、修改用户名，网络

（1）修改用户名,分别为hadoopslave01，hadoopslave02
代码：sudo vi /etc/sysconfig/network
（2）配置网络参数：

（a）
		代码：sudo vi /etc/udev/rules.d/70-Persistent-net.rules
		将第一部分删除，将第二部分，修改为eth0

在这里插入图片描述

（b）
		代码：sudo	vi /etc/sysconfig/network-scripts/ifcfg-eth0
		hadoopslave01的IP为192.168.20.11
		hadoopslave02的IP为192.168.20.12
		重启，检查：ifconfig

在这里插入图片描述

10、无码访问

在我们远程登录时，我们需要输入密码，无码访问后，我们可以不需要输入密码，就可以hadoopmaster随意远程登陆其他虚拟机！
代码：
（1） hadoop是主从结构。使用命令ssh-keygen生成密钥，使用默认存储密钥路径，设置一个空密码。全部默认回车。
（2）使用命令ssh-copy-id 192.168.20.11将生成的密钥拷贝到192.168.20.11这台主机的.ssh目录中。
（3）使用命令ssh-copy-id 192.168.20.10（本机）将生成的密钥拷贝到192.168.20.10（本机）这台主机的.ssh目录中。
（4）使用命令ssh-copy-id 192.168.20.12（使用主机名称同样可以）将生成的密钥拷贝到192.168.20.12这台主机的.ssh目录中。
（5）查看各节点的免密公钥文件 cat authorized_keys
（如果ssh不可以用，请看下一节。）

11、yum仓库挂载

dev是设备(device)的英文缩写。/dev这个目录包含了所有Linux系统中使用的外部设备。但是这里并不是放的外部设备的驱动程序，这一点和windows,dos操作系统不一样。它实际上是一个访问这些外部设备的端口，但是没有入口。必须通过挂载的方式对他们进行访问。
代码：
cd /etc/yum.repos.d/ 进入yum目录
sudo mv CentOS-Media.repo CentOS-Media.repo.bak 重命名yum文件目录
sudo rm -f *.repo 删除其他文件
sudo mv CentOS-Media.repo.bak CentOS-Media.repo 将名字重新设置回来
vi CentOS-Media.repo 编辑CentOS-Media.repo ，如图所示
在这里插入图片描述
cd /media 进入该目录
mkdir /CentOS 创建/media/CentOS目录
sudo mount -t iso9660 /dev/cdrom1 /media/CentOS/ “-t iso9660光盘类型”，挂载光盘到CentOS
（加粗字体内容在/dev目录下，dev是设备(device)的英文缩写。/dev这个目录包含了所有Linux系统中使用的外部设备。但是这里并不是放的外部设备的驱动程序，这一点和windows,dos操作系统不一样。它实际上是一个访问这些外部设备的端口，但是没有入口。必须通过挂载的方式对他们进行访问。）
检查：
CentOS目录下是否含有文件
yum repolist中是否含有6518，如图所示
![在这里插入图片描述](https://img-blog.csdnimg.cn/20200804212747329.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDE3MzI5NA==,size_16,color_FFFFFF,t_7
下载ssh安装包：yum -y install openssh-clients

12、编写虚拟机以及Windows的hosts目录

方便使用虚拟机名称来代替IP
虚拟机：
sudo vi /etc/hosts 文件，如图所示：
在这里插入图片描述
Windows系统
进入C:\Windows\System32\drivers\etc的hosts文件输入文件内容，如图所示：

本人为2018级大学生，初为学者，希望各位前辈多多指点，各位同学相互交流。谢谢您的浏览！！！欢迎你的点赞！！！谢谢！

诺旭

关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
# Hadoop搭建——部署准备，linux基础操作

Hadoop搭建——部署准备，linux基础操作前言：Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。在自己的计算机学习中，我们需要应用linux,在企业中大数据处理的是自己企业的内部服务器，其服务器的操作系统大多数是Linux系统。在VMware中我们需要搭建三台虚拟机类模拟多台服务器。内容：1、虚拟机与主机的网络互通、如图所示：2、修改linux用户名及网络配置，如图所示修改用户名为hadoopmaster代码：vi
复制链接

扫一扫

专栏目录