Hadoop大数据集群搭建(超详细)_hadoop集群搭建

打开C:\Windows\System32\drivers\etc下的hosts文件,添加以下内容(注:如果没有notepad++这类软件,可以通过记事本保存在其他位置,然后拖动到该文件夹下)同样通过mobaxterm的上的SFTP功能(或其他工具)上传到/export/software目录下,然后解压到/export/servers目录下。传完之后要在hadoop02和hadoop03上分别执行 source /etc/profile 命令,来刷新配置文件。在hadoop01上执行。
摘要由CSDN通过智能技术生成

3. 配置ip映射

vi /etc/hosts

在文件末尾添加以下3行

192.168.121.134 hadoop01

192.168.121.135 hadoop02

192.168.121.136 hadoop03

同时修改hadoop02和hadoop03

4. 修改静态ip

在hadoop01上(如果文件中的参数都没有引号“”,则需要去掉)

vi  /etc/sysconfig/network-scripts/ifcfg-ens33

BOOTPROTO=“static”

ONBOOT=“yes”

新增以下ip设置

IPADDR=“192.168.121.134”

NETMASK=“255.255.255.0”

GATEWAY=“192.168.121.2”

DNS1=“114.114.114.114”

然后在hadoop02和hadoop03上分别设置成121.135和121.136

5. 重启虚拟机

reboot

完成重启后测试下网络是否OK,命令ping www.baidu.com

第四步:ssh服务配置

  1. 确认ssh服务已开启(默认已开启)

ps -e | grep sshd

  1. 三台机器生成公钥和私钥

ssh-keygen -t rsa

执行该命令,按3下回车

  1. 拷贝公钥到另外两台机器

在hadoop01,hadoop02和hadoop03上分别执行以下三行

ssh-copy-id hadoop01

ssh-copy-id hadoop02

ssh-copy-id hadoop03

都执行完毕后,三台机器就可以使用ssh连接而无需输入密码了

测试一下:

在hadoop02上输入ssh hadoop03,能够免密登录

然后exit退出回来hadoop02

==========================   快照    ==================================

第五步:安装JDK

1. 下载JDK

在jave网站上下载

Java Archive Downloads - Java SE 8

jdk-8u161-linux-x64.tar.gz(网站上下载需要注册,可以从群共享里获取)

2. 安装JDK

上传JDK到linux(SecureCRT工具里使用SecureFXPortable,MobaxTerm里使用自带的tftp功能,注意上传位置,是 /export/software/)

使用MobaxTerm里使用自带的tftp功能

执行解压缩操作:解压到 /export/servers

cd /export/software/

tar -zxvf jdk-8u161-linux-x64.tar.gz -C /export/servers/

cd /export/servers/

重命名为jdk

mv jdk1.8.0_161/ jdk

3. 配置JDK环境变量

vim /etc/profile

添加如下内容

export JAVA_HOME=/export/servers/jdk

export PATH

  • 26
    点赞
  • 14
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Hadoop服务器集群的搭建旨在实现分布式存储和计算,以满足大数据处理的需求。以下是Hadoop服务器集群搭建的主要目的: 1. 大数据存储:Hadoop提供了分布式文件系统HDFS,它能够将大规模数据分散存储在集群中的多个节点上。通过搭建Hadoop集群,可以获得高容量和可靠的存储系统,能够处理大量数据的存储需求。 2. 数据处理:Hadoop通过MapReduce框架,将数据分成小块进行并行计算,并在集群中的多个节点上同时执行计算任务。通过搭建Hadoop集群,可以实现高性能的并行计算,加快大数据处理的速度。 3. 高可用性:Hadoop集群支持故障转移和冗余备份,可以确保在节点故障时不丢失数据和服务中断。通过搭建Hadoop集群并配置高可用性特性,可以提高系统的可靠性和稳定性。 4. 水平扩展:Hadoop集群可以方便地进行水平扩展,即通过添加更多的节点来增加集群的处理能力和存储容量。通过搭建Hadoop集群,可以应对不断增长的数据量和计算需求,实现系统的可扩展性。 5. 数据共享和协作:Hadoop集群中的数据可以被多个用户和应用程序共享和访问。通过搭建Hadoop集群,可以提供一个统一的数据平台,方便不同团队或部门之间的数据共享和协作。 总而言之,Hadoop服务器集群的搭建旨在提供一个高可用、可扩展和高性能的大数据处理平台,能够存储和处理海量数据,并支持并行计算和分布式存储,以满足大数据应用的需求。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值