Hadoop集群的搭建

最新推荐文章于 2024-11-07 10:50:34 发布
最新推荐文章于 2024-11-07 10:50:34 发布
阅读量145 收藏
点赞数
文章标签： hadoop big data java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_54861980/article/details/120620392
版权

Hadoop集群的搭建

所需安装包：
1.jdk压缩包
2.hadoop压缩包

有需要的可在百度云下载：
jdk:链接: https://pan.baidu.com/s/1Jaclnw1-Ml4lrLgnBJIV9A 提取码: 6pgi
hadoop:链接: https://pan.baidu.com/s/1Lr1NDR00DpjcMG1Kczg59A 提取码: mqig

开始搭建hadoop集群(以下操作确定一下虚拟机的网是通的才可进行)：
一. 使用VMvare创建一个虚拟机，我使用的是CentOS 7,所以以下是以CentOS7为例(也可以直接创建3台，不过我的个人习惯是先创一台，配好环境什么的再复制）

因为是主机，所以习惯上取名为master，不过这个看个人喜好
在虚拟机搭建完成后可用CRT或者Xshell进行远程登录、操作服务器；

二. jdk的安装

2.1 上传安装包等准备工作

mkdir /home/software   #创一个文件夹专门存放安装包啥的，看个人习惯吧
cd /home/software/
rz               #可用rz命令进行上传jdk文件,若rz没有，用 yum install  lrzsz  进行下载，下载成功后在home目录下rz进行上传jdk文件，再ls查看一下文件即可查看jdk上传成功
tar -zxvf jdk-8u144-linux-x64.tar.gz    #解压jdk到当前目录
ls                                            #查看解压是否成功
mv jdk1.8.0_144/ jdk             #改名
pwd                                        #查看当前目录

2.2 配置/etc/profile 文件

vim /etc/profile  #在jdk目录下配置一下java的环境变量,用vi 命令也可以
添加：
#java path configuration
export	JAVA_HOME=/home/software/jdk         #是jdk的安装路径
export	PATH=$JAVA_HOME/bin:$PATH
export	CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

#注意中间的空格为tab键
：wq 保存退出

生效配置文件

 source /etc/profile
 java -version       #看java是否安装配置成功
 javac
 java
 chkconfig iptables off  #如果之前忘记关防火墙，可用此命令进行防火墙永久关闭

出现以下情况，则成功安装配置jdk
在这里插入图片描述
在这里插入图片描述
没截全
在这里插入图片描述
也没截全

三. Hadoop的安装

3.1 上传安装包等准备工作

cd /home/software/
rz               #上传hadoop安装包
tar -zxvf hadoop-2.6.5.tar.gz
ls                             #查看解压是否成功
mv hadoop-2.6.5 hadoop

3.2 配置/etc/profile 文件

 vim /etc/profile  #配置hadoop的环境变量
 添加：
 #hadoop configuration
 export  HADOOP_HOME=/home/software/hadoop
 export  PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
 #注意中间的空格为tab键
：wq 保存退出

在这里插入图片描述

3.3 生效配置文件

source /etc/profile
hadoop version #查看是否成功

在这里插入图片描述

四，克隆虚拟机（slave1,slave2）

4.1复制两台虚拟机
找到虚拟机的目录，直接复制两台虚拟机，命名为Slave1，Slave2，并相应打开文件删除
下面的文件 （否则有可能打不开）
在这里插入图片描述
点击 “我已复制该虚拟机”
在这里插入图片描述
4.2 记得分别修改他们的网卡配置文件的ip地址即：

vi /etc/sysconfig/network-scripts/ifcfg-ens33，

记得重启网卡：

systemctl restart network

4.3 关闭master，slave1,slave2的防火墙

systemctl stop firewalld.service   #停止firewall 
systemctl disable firewalld.service #禁止firewall开机启动

4.4 分别修改他们的主机名

CentOS7修改主机名：

hostnamectl set-hostname +主机名 
hostnamectl set-hostname Master  
hostname  #查看一下
ls

同理，slave1,slave2也是如此。

如是CentOS6修改主机名则用

vi /etc/sysconfig/network
Master上改主机名
vi /etc/sysconfig/network
修改
HOSTNAME=Master 

Slave1改主机名
vi /etc/sysconfig/network 
添加
HOSTNAME=Slave1

Slave2改主机名
vi /etc/sysconfig/network 
添加
HOSTNAME=Slave2

4.5 hosts修改域名：(三个节点上都配一遍)

vi /etc/hosts
修改内容为
192.168.100.10 Master Master.cn 
192.168.100.11 Slave1 Slave1.cn
192.168.100.12 Slave2 Slave2.cn

#ip地址 hostname 域名 ，
省时间点：

scp /etc/hosts slave1.cn:/etc/    # (不行就修改一下，把域名改成接受文件的那台虚拟机的ip地址)，传给例外两部

不然就一台一台的修改，反正每台都要修改的
设置完之后可以用域名进行访问
重新启动一下

reboot

测试域名是否配置成功：
Master上建一个文件如：如

touch 18hadoop.bc，
scp 18hadoop.bc Slave1.cn:/root    #传到Slave1上
在Slave1 上
ls               #即可看见文件已通过域名方式传送成功
五，配置ssh免密码登录
cd ~
ssh-keygen -t rsa     #一直按回车
ssh-copy-id Master.cn    #拷贝到另外一台虚拟机
ssh-copy-id Slave2.cn    #拷贝到另外一台虚拟机
touch 2.c 
scp 2.c Master.cn:/root #创一个文件上传给Master测试免密是否成功

在这里插入图片描述

ssh-copy-id Master.cn  #将公钥复制到Master上
ssh-copy-id Slave2.cn  #将公钥复制到Slave2上

以上操作在例外两台虚拟机上操作一遍
这样就实现了三台虚拟机免密码登录，传输文件
可用 scp 这个方法测试一下是否免密码登录成功

六. Master上修改配置文件进行集群

6.1 先创建一个存放hadoop数据库的文件夹

  cd /home/software/   #进入software新建一个目录放data,然后ls一下
  mkdir data
  cd data
  mkdir -p hadoop/tmp    #在data下新建一个放hadoop数据，然后ls一下

6.2 修改 hadoop的配置文件

  1. 修改 hadoop-env.sh 文件*
cd /home/software/hadoop/etc/
ls
cd hadoop/            cd hadoop/  #进入到etc的hadoop的配置文件
vim hadoop-env.sh  #进入修改一下JAVA_HOME的安装目录

在这里插入图片描述

  1. 修改 mapred-env.sh 文件
vim mapred-env.sh   #同样进入修改一下JAVA_HOME的安装目录

在这里插入图片描述

  1. 修改 core-site.xml 文件
 vim core-site.xml    #配置 core-site.xml
 在<configuration>和</configuration>中间添加:
 <property>
	<name>hadoop.tmp.dir</name>
	<value>/home/software/data/hadoop/tmp</value>
</property>
<property>
	<name>fs.defaultFS</name>
	<value>hdfs://192.168.100.10:9000</value>
</property>
#其中/export/data/hadoop/tmp是之前是建的放hadoop数据的地方
#hdfs://192.168.100.10:9000 前面为主机Master的IP地址，后面为端口号，可以默认为9000

在这里插入图片描述

  1. 修改 yarn-site.xml 文件
vim yarn-site.xml       #配置yarn-sit.xml
在<configuration>和</configuration>中间添加
<property>
<name>yarn.resourcemanager.hostname</name>
 <value>192.168.100.10</value>
 </property>
 <property>
 <name>yarn.nodemanager.aux-services</name
 <value>mapreduce_shuffle</value>
 </property>
 #其中192.168.100.10是为主机Master的IP地址

在这里插入图片描述

  1. 修改 hdfs-site.xml 文件
 vim hdfs-site.xml  #配置hdfs-site.xml 
  在<configuration>和</configuration>中间添加
  <property>
              <name>dfs.replication</name>
              <value>3</value>
  </property>
  <property>
            <name>dfs.secondary.http.address</name
            <value>192.168.100.10:50090</value>
   </property>
 #其中192.168.100.10是为主机的IP地址，3为机器的节点数

在这里插入图片描述

  1. 修改 mapred-site.xml 文件
cp mapred-site.xml.template mapred-site.xml #复制一份 mapred-site.xml
vim mapred-site.xml         #配置mapred-site.xml（资源管理器）
在<configuration>和</configuration>中间添加
<property>
          <name>mapreduce.framework.name</name
          <value>yarn</value>
</property>

在这里插入图片描述

  1. 修改 slaves 文件
 vim slaves       #配置slaves
 修改
 localhost--->Slave1.cn  Slave2.cn
 #lave1.cn  Slave2.cn为你要集群的机器

在这里插入图片描述
#以上配置文件已完成

配置完分发到其他机器上：

 cd /home/software
 ls
 scp -r hadoop slave2.cn:/home/software/
 scp -r hadoop slave1.cn:/home/software/
七，启动集群

启动前先格式化文件系统

hdfs namenode -format
start-dfs.sh   #启动dfs
start-yarn.sh #启动yarn
jps   #可以查看各个节点所启动的进程，NameNode、ResourceManager、SecondrryNameNode、JobHistoryServer 进程在Slave1、2节点上jps可以看到DataNode 和 NodeManager

出现这个，
在这里插入图片描述
恭喜你，集群已搭建成功

关闭集群也是在Master上关闭，按顺序执行命令

 stop-yarn.sh 
 stop-dfs.sh 



 start-all.sh启动整个集群
 stop-all.sh  关闭整个集群
葡萄美酒badi
关注
入门级Hadoop集群搭建详细教程(七)：SSH免密码登陆
shidan473414的博客
03-22 399
配置SSH免密码登录         第一步：生成密钥对                      ssh-keygen –t rsa  （默认使用rsa算法）        第二步：将自己的公钥拷贝到目标主机的authorized_keys 中，该文件位于在创建密钥对的.ssh 目录下，如果不存在可以手动创建。通过一下两种方式进行文件拷贝：                     
3.基于hadoop集群搭建hbase
06-17
### 基于Hadoop集群搭建HBase集群详解 #### 一、引言 随着大数据技术的迅猛发展，海量数据的高效存储与处理成为企业关注的重点。Hadoop作为一款能够处理大量数据的基础框架，被广泛应用于各类场景之中。然而，在...
1+x_大数据应用开发（python）职业技能（中级）
HYSliuliuliu的博客
10-21 2万+
大数据应用开发（python）职业技能等级证书（中级），1+x证书考题。
Hadoop分布式集群搭建
小刘的博客
10-07 2628
Hadoop分布式集群搭建 环境说明： Hadoop分布式集群架构是主从架构，这里要搭建一个3台服务器的集群 三台centos7主机，其中一个主节点master，两个从节点服务器slave 用户名都为root，主机名分别为master，slave1，slave2 步骤如下： 1.安装CentOS7 创建虚拟机 单击左上角文件→新建虚拟机，创建虚拟机 选择指定的Centos7系统镜像文件 填写虚拟机信息 默认一直下一步即可，之后点击完成系统会自动重启
Hadoop集群部署
weixin_43552734的博客
11-10 206
该教程部署的版本为Hadoop2.7.7 用户名：amax 集群机器： node01：master node05~node10：slave节点 大致流程 选定一个节点作为master(本次部署使用node01作为master，node05~10作为slave节点） 配置节点间可以免密ssh，以及免密ssh到localhost 在所有节点安装配置java环境 在master配置hadoop，然后将配置好的hadoop包复制到其他slave节点 在master开启hadoop 免密ssh 一般情况下，.ss
Hadoop集群搭建
lydms的博客
02-09 2万+
Hadoop官方网站：http://hadoop.apache.org/Hadoop运行模式包括：本地模式、伪分布式模式以及完全分布式模式。本地模式：单机运行，只是用来演示一下官方案例。生产环境不用。伪分布式模式：也是单机运行，但是具备Hadoop集群的所有功能，一台服务器模拟一个分布式的环境。个别缺钱的公司用来测试，生产环境不用。完全分布式模式：多台服务器组成分布式环境。生产环境使用。
hadoop集群搭建
progammer10086的博客
10-25 678
hadoop集群搭建
Hadoop集群搭建（超级详细）
热门推荐
qq_43650672的博客
05-07 7万+
本文略长，希望各位大佬见谅！！！ 需要的安装包：jdk-8u162-linux-x64.tar.gz（ 提取码：6k1i ）、hadoop-3.1.3.tar.gz（ 提取码：07p6 ） 1 集群规划 安装VMware，使用三台Ubuntu18.04虚拟机进行集群搭建，下面是每台虚拟机的规划： 主机名 IP 用户 HDFS YARN hadoopMaster 待定 rmc0924 NameNode、DataNode NodeManager、ResourceManager hado
Hadoop集群搭建详细教程
m0_65029172的博客
07-27 3801
Hadoop集群搭建详细教程
Hadoop集群搭建（超级超级详细）
皮埃尔的博客
04-28 3万+
Hadoop集群搭建（超级超级详细）
Hadoop大数据集群搭建（超详细）_hadoop集群搭建
2401_84166258的博客
06-20 2610
同时修改hadoop02和hadoop03。
hadoop集群搭建(超级详细)
10-11
在大数据领域，Hadoop是一个广泛使用的开源框架，用于存储和处理海量数据。本文将详细讲解如何搭建一个...这个超详细的教程覆盖了从零开始到集群搭建完成的全过程，按照步骤执行，可以轻松掌握Hadoop集群搭建技术。
hadoop集群搭建文档资料
11-15
以上内容是Hadoop集群搭建的基础步骤和关键知识点，具体的实施过程中可能需要根据实际环境进行调整。提供的文档资料应详细记录了每一步的操作，帮助读者理解和实践Hadoop集群的搭建。通过这份文档，你可以学习到...
【c知道】Hadoop工作原理。
最新发布
windy1a的博客
11-07 350
首先，所有具有相同键的中间键值对被收集在一起（shuffle过程），然后按照键进行排序（如果配置了排序，这是为了保证Reduce的正确性）。Mapper函数接收键值对作为输入，根据键进行处理。Hadoop MapReduce是一种分布式计算模型，它将大规模的数据处理任务分解成一系列小的、独立的任务（Map任务）和后续的聚合任务（Reduce任务）。Reduce阶段：Reducer接收到排序后的中间键值对，针对每个键执行用户提供的reduce函数，通常是对某个键的所有值进行汇总或操作，生成最终的结果。
Hadoop---MapReduce(3)
zsn99205的博客
11-07 219
在该函数内部，它会将生成的key/value分区（调用Partitioner），并写入一个环形内存缓冲区中。：即“溢写”，当环形缓冲区满后，MapReduce会将数据写到本地磁盘上，生成一个临时文件。需要注意的是，将数据写入本地磁盘之前，先要对数据进行一次本地排序，并在必要时对数据进行合并、压缩等操作。在运行核心业务MapReduce程序之前，往往要先对数据进行清洗，清理掉不符合用户要求的数据。：该节点主要是将解析出的key/value交给用户编写map()函数处理，并产生一系列新的key/value。
WPF缩放动画和平移动画叠加后会发生什么?
qq_22933729的博客
11-06 433
最终得出结论：平移和缩放两种变化叠加的时候，平移变换的偏移量也会跟着做缩放。为了确定数据的准确性，我们可以增加几组数据做下测试对比，这里就省略了~WPF实现边平移，边缩放的动画效果，它的平移坐标应该怎么计算？元素缩放后，平移的坐标值不会随着缩放的比例而发生变化。元素缩放后，平移的坐标值，会跟随缩放的比例发生变化。，显然跟实际结果不一致。，跟实际结果完全一致。
WPF MVVM入门系列教程（二、依赖属性）
zhaotianff的专栏
11-07 356
通俗点来说，WPF的依赖属性就是在.NET属性的基础上进行的扩展。这一点跟前面的依赖属性有区别。指定此依赖属性的元数据，元数据定义依赖属性在应用于特定类型时的某些行为方面，包括默认值、值更改时的回调等。本文不包括依赖属性内存存储方式、属性取值优先级、属性默认值、属性值更改回调、属性验证等概念，在后面的文章中再进行补充。的第一个参数代表依赖属性的默认值，设置为null，第二个参数是在值更改时的回调函数，这里是调用。说明：本文是介绍WPF中的依赖属性功能，如果对依赖属性已经有了解了，可以浏览后面的文章。
HashMap为什么线程不安全？
rnnf_yyds的博客
11-03 642
HashMap底层是基于数组 + 链表（在 Java 8 以后，当链表长度超过一定阈值时会转换为红黑树）的数据结构。在多线程环境下，当多个线程同时对HashMap进行put操作时，可下面这种情况：假设两个线程 A 和 B 同时执行put操作，它们计算出的插入位置相同（假设为index线程 A 先获取到了当前index位置的节点，在它还没来得及将新节点插入链表（或树）时，线程 B 也获取到了这个位置的节点。
spring循环依赖解决方式
qq_36400213的博客
11-04 784
字段注入和setter注入则提供了更多的灵活性，但需要更谨慎地管理对象的状态。方法注入和注解注入则适用于特定的场景。在Spring框架中，依赖注入（Dependency Injection，DI）是一种实现控制反转（Inversion of Control，IoC）的机制，用于将对象的依赖关系自动注入到对象中。这种方式不如构造器注入严格，但比字段注入更灵活，因为它可以在不创建新实例的情况下改变对象的依赖。这种方式是推荐的，因为它可以保证对象在创建时就处于完全初始化的状态，并且可以使得bean不可变。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值