Hadoop的完全分布式集群搭建

最新推荐文章于 2022-05-24 23:06:08 发布

lzhx1111

最新推荐文章于 2022-05-24 23:06:08 发布

阅读量227

点赞数 1

分类专栏： hadoop 完全分布式搭建集群文章标签： Hadoop 完全分布式搭建集群

本文链接：https://blog.csdn.net/lzhx1111/article/details/103000829

版权

本文详细介绍了如何在Linux环境下搭建Hadoop的完全分布式集群，包括主机名配置、用户权限设置、JDK安装、Hadoop的安装与配置，以及本地模式和伪分布式模式的运行示例。

摘要由CSDN通过智能技术生成

完全分布式

改主机名

  vim /etc/sysconfig/network
 改HOSTNAME=那一行

配置/etc/hosts

vim /etc/hosts
根据自己要设置的IP地址，如数添加以下内容
192.168.75.100   hadoop100
192.168.75.101   hadoop101
192.168.75.102   hadoop102
192.168.75.103   hadoop103
192.168.75.104   hadoop104
192.168.75.105   hadoop105
192.168.75.106   hadoop106
192.168.75.107   hadoop107
192.168.75.108   hadoop108
192.168.75.109   hadoop109

=============================

创建一个一般用户jinghang，给他配置密码

useradd jinghang
passwd jinghang

配置这个用户为sudoers

vim /etc/sudoers
在root    ALL=(ALL)       ALL
添加jinghang    ALL=(ALL)       NOPASSWD:ALL
保存时wq!强制保存

在/opt目录下创建文件夹

（1）在/opt目录下创建module、software文件夹

[jinghang@hadoop101 opt]$ sudo mkdir module
[jinghang@hadoop101 opt]$ sudo mkdir software

（2）修改module、software文件夹的所有者cd

[jinghang@hadoop101 opt]$ sudo chown jinghang:jinghang module/ software/
[jinghang@hadoop101 opt]$ ll
	总用量 8
	drwxr-xr-x. 2 jinghang jinghang 4096 1月  17 14:37 module
	drwxr-xr-x. 2 jinghang jinghang 4096 1月  17 14:38 software

安装JDK

1. 卸载现有JDK

（1）查询是否安装Java软件：

	[jinghang@hadoop101 opt]$ rpm -qa | grep java

（2）如果安装的版本低于1.7，卸载该JDK：

	[jinghang@hadoop101 opt]$ sudo rpm -e 软件包

（3）查看JDK安装路径：

	[jinghang@hadoop101 ~]$ which java

2. 用Xshell工具将JDK导入到opt目录下面的software文件夹下面，选择jdk1.8拖入拖入jdk1.8完成

1.在Linux系统下的opt目录中查看软件包是否导入成功

	[jinghang@hadoop101 opt]$ cd software/
	[jinghang@hadoop101 software]$ ls
	hadoop-2.7.2.tar.gz  jdk-8u144-linux-x64.tar.gz

2.解压JDK到/opt/module目录下

[jinghang@hadoop101 software]$ tar -zxvf jdk-8u144-linux-x64.tar.gz -C /opt/module/

<

最低0.47元/天解锁文章