从零开始搭建Hadoop集群

最新推荐文章于 2023-05-02 12:16:13 发布
最新推荐文章于 2023-05-02 12:16:13 发布
阅读量194 收藏 1
点赞数
分类专栏： 学习与分享 文章标签： java hadoop zookeeper
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43306439/article/details/116528932
版权

文章目录

简介：

Hadoop为分布式系统框架，本文章将讲述搭建入门级Hadoop分部署集群(请注意，本文是高可用HA模式的Hadoop集群)：

  • HDFS
  • MapReduce
  • YARN
  • Zookeeper

入门级分布式集群搭建

1、前期准备

1.1 虚拟机

 推荐软件 VMware WorkStation Pro

tips:这个软件是收费的，所以各显神通吧

1.2 软件

  1. Linux，推荐 centOS 。
    【此版本为centOS-7.9版本，点我直接现在，来源为清华大学镜像网站资源】
  2. jdk 1.8
  3. Hadoop 2.8.1
  4. XShell ，非常好用的远程连接终端，有个人免费版
  5. Xftp ，文件管理的，上传下载非常方便，同样有个人免费版
tips:关于开源方面，开源的项目直接GitHub，开源宝库；
	开源软件资源方面，主推阿里云镜像：https://developer.aliyun.com/
	另外清华大学的镜像网站个人感觉非常棒：https://mirrors.tuna.tsinghua.edu.cn/

1.3 虚拟机准备

  • 利用上诉条件安装成功后，使用VMware创建5台虚拟机(奇数)，
1.3.1 修改主机名
vim /etc/hostname # 将其修改为你期望的主机名

修改hostname

1.3.2 添加主机名映射
vim /etc/hosts 

192.168.134.20 ha
192.168.134.21 ha1
192.168.134.22 ha2
192.168.134.23 ha3
192.168.134.24 ha4

主机名映射

1.3.3 修改IP
vim /etc/sysconfig/network-scripts/ifcfg-ens33 

TYPE=Ethernet
PROXY_METHOD=none
BROWSER_ONLY=no
BOOTPROTO=static /不适用动态IP,修改为静态
DEFROUTE=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_FAILURE_FATAL=no
IPV6_ADDR_GEN_MODE=stable-privacy
NAME=ens33
UUID=04433d28-9172-406e-81fa-ff56d248bed2
DEVICE=ens33
ONBOOT=yes #启动生效

IPADDR=192.168.134.20 # 当前主机IP
GATEWAY=192.168.134.2 # 网关
NETMASK=255.255.255.0 # 子网掩码
DNS1=114.114.114.114 # DNS
DNS2=8.8.8.8

网络配置

2、配置环境

2.1 jdk安装与环境变量

# 软件安装-二进制解压 
tar -zxvf [jdk压缩包] -C [解压的目标目录]
# 如:
tar -zxvf jdk-8u45-linux-x64.tar.gz -C /opt/apps/

# 环境变量
vim /etc/profile
# 命令模式下G切到文件末尾,在后面添加如下变量,其作用可以见名知意
export JAVA_HOME=/opt/apps/jdk1.8.0_45
export HADOOP_HOME=/opt/apps/hadoop-2.8.1
export ZK_HOME=/opt/apps/zookeeper-3.4.5
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
expor tPATH=$PATH:$ZK_HOME/bin
export CLASS_PATH=.:$JAVA_HOME/lib

# 编译配置文件
source /etc/profile
# 检验是否配置成功，也可以用java,javac,java -version来检查
echo $JAVA_HOME

环境变量

2.2 免密登录

# 使用ssh设置免密登录
ssh-keygen # 生成密钥对
ssh-copy-id [IP]# 发送公钥
ssh [ip] # 使用ssh登录到IP为[ip]的主机

2.3 关闭防火墙

systemctl status firewalld # 查看防火墙状态
systemctl stop firewalld # 关闭
systemctl disable firewalld # 禁用-下次开机后不会启动防火墙

3、安装Hadoop

3.1 解压

  • 上面已经示例了解压基本用法，这里不再赘述

3.2 环境变量

  • 如果你细心的话就会发现，在配置Java环境变量时其实已经将所需的环境变量都配好了

3.3 Hadoop配置文件

重头戏来了

3.3.1 core-site.xml
cd $HADOOP_HOME/etc/hadoop

核心配置文件

vim core-site.xml # 添加以下内容

<property>
  <name>fs.defaultFS</name>
  <value>hdfs://ns</value>
</property>

<!-- 日志 -->
<property>
  <name>dfs.journalnode.edits.dir</name>
  <value>/opt/apps/hadoop-2.8.1/hdpdata/journal/node/local/data</value>
</property>

<!-- hdpdata目录 -->
<property>
    <name>hadoop.tmp.dir</name>
    <value>/opt/apps/hadoop-2.8.1/hdpdata/</value>
</property>

<!-- 日志管理器 -->
<property>
    <name>ha.zookeeper.quorum</name>
    <value>ha2:2181,ha3:2181,ha4:2181</value>
</property>

核心配置文件2

3.3.2 hdfs-site.xml
<configuration>

<!-- ha服务名称 -->
<property>
  <name>dfs.nameservices</name>
  <value>ns</value>
</property>

<!-- ha服务对应两个namenode的名称 -->
<property>
  <name>dfs.ha.namenodes.ns</name>
  <value>nn1,nn2</value>
</property>

<!-- ha服务对应两个namenode的名称和指定服务器进行绑定 -->
<property>
  <name>dfs.namenode.rpc-address.ns.nn1</name>
  <value>ha:9000</value>
</property>
<property>
  <name>dfs.namenode.rpc-address.ns.nn2</name>
  <value>ha1:9000</value>
</property>

<!-- ha服务对应两个namenode的名称和指定服务器的webui进行绑定 -->
<property>
  <name>dfs.namenode.http-address.mycluster.nn1</name>
  <value>ha:50070</value>
</property>
<property>
  <name>dfs.namenode.http-address.mycluster.nn2</name>
  <value>ha1:50070</value>
</property>

<!-- ha服务指定namenode上传或下载日志的url -->
<property>
  <name>dfs.namenode.shared.edits.dir</name>
  <value>qjournal://ha2:8485;ha3:8485;ha4:8485/ns</value>
</property>

<!-- ha服务自动故障转移的底层的实现类 -->
<property>
  <name>dfs.client.failover.proxy.provider.ns</name>
  <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>

<!-- ha服务的补刀策略 -->
<property>
    <name>dfs.ha.fencing.methods</name>
    <value>
        sshfence
        shell(/bin/true)
    </value>
</property>
<property>
    <name>dfs.ha.fencing.ssh.private-key-files</name>
    <value>/root/.ssh/id_rsa</value>
</property>

<!-- 开启自动故障迁移 -->
 <property>
   <name>dfs.ha.automatic-failover.enabled</name>
   <value>true</value>
 </property>

</configuration>
3.3.3 slaves
  • 这里配置的是你要搭建zookeeper的主机名，你也可以使用IP，由于我们在hosts文件中配置过了主机名映射，所以在这里直接使用主机名，也方便排错
    slaves
3.3.4 mapred-site.xml.template
  • 持续更新中
3.3.5 yarn-site.xml
  • 持续更新中

4、安装Zookeeper

  • 解压、环境变量

4.1 配置文件

进入zookeeper安装目录

cd $ZK_HOME

zookeeper文件目录

4.1.1 创建zkdata文件夹
# 在当前目录即zookeeper安装目录下创建
mkdir zkdata
# 进入zkdata目录创建myid文件并添加服务器编号
[root@ha2 zkdata]# vim myid

# 文件内容
1

请注意：这里每台zookeeper服务器的编号是不一样的，比如我配置了三台zookeeper服务器，那么编号应该分别为1，2，3；当然，其实这个数字没什么意义，重要的是要然后与zoo.cfg配置文件中的server.1上的数字对应，往下看
myid

4.1.1 zoo.cfg
  1. 在安装目录下有一个conf目录，cd进入，这里面会有一个zoo_sample.cfg的文件，将其重命名为zoo.cfg
[root@ha conf]# rename zoo_sample.cfg zoo.cfg zoo_sample.cfg

conf目录
2. 修改文件内容

dataDir=/opt/apps/zookeeper-3.4.5/zkdata

server.1=ha2:2888:3888
server.2=ha3:2888:3888
server.3=ha4:2888:3888

zoo.cfg

5、启动

5.1 启动zookeeper

zkServer.sh start #启动
zkServer.sh status # 查看状态
zkServer.sh stop # 停止

启动zookeepe
tips：出现mode时即启动成功启动zookeepe

5.2 启动journalnode

hadoop-daemon.sh start journalnode

tips：journalnode需要zookeeper环境，所以注意启动顺序

journalnode

5.3 格式化namenode与zkfc

hdfs namenode -format
hdfs zkfc -formatZK

5.4 启动hdfs

start-dfs.sh
  1. 当看到：三台datanode与zookeeper服务器出现
    在这里插入图片描述
  2. namenode服务器上
    在这里插入图片描述
  3. 访问主节点的IP
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    即为成功，搞定收工。

感谢你的浏览，觉得有帮助可以收藏，会持续学习并更新

# 无伤大雅 #
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
从零开始搭建hadoop集群 视频 # 谭子
02-06
大数据课程入门，使用Vm虚拟机搭建hadoop集群，用到的系统是centOS6.8，该视频同步了如何安装虚拟机、修改虚拟网卡、配置ssh环境、配置JDK1.8及hadoop2.7.4。视频时长一小时半，当然也可以看另外一条链接：...
从零开始Hadoop安装和配置，图文手把手教你，定位错误（已部署成功）
热门推荐
小唐同学超级呆的博客
10-06 2万+
写了近一万字，所有的步骤基本都有图，Vmware、centos、jdk、Hadoop以及需要用到的工具里面全有。小唐初学Hadoop学了一个月，也配置了一个月，基本上所有可以踩的坑和不可以踩的都遇到了，当自己配置完成之后，又去重新配置了一遍，已经实现了
从零开始安装Hadoop
oldsummer
05-05 1637
目录 一 新建虚拟机 二 设置固定IP 三 检验 3.1 查看虚拟机能否Ping通我们设置的IP地址 3.2 查看虚拟机能否连通外网 3.3 查看主机能否Ping通我们的虚拟机 四 SSH无密登陆、远程连接、关闭防火墙 五 安装JDK 六 本地模式 6.1 参数配置 6.2 验证 七 伪分布式模式 八 完全分布式模式 8.1 /etc/hadoop/hadoop-env.sh 8.2 /etc/hadoop/yarn-env.sh 8.3 /etc/hadoop/slaves
Hadoop（HA）平台搭建从零开始搭建
xiaoxingxingwo的博客
11-18 2433
（1）：网络配置 vim /etc/sysconfig/network-scripts/ifcfg-ens33里面修改# 设置该网络为开机自动启动ONBOOT=yes # 设置采用静态IP模式BOOTPROTO=static #该网络的IP地址，可以使用DHCP获得的IP地址，也可以自行规划IPADDR=192.168.10.111 #该网络的子网掩码NETMAS...
零基础小白hadoop分布式集群环境搭建（超详细）
qq_44091004的博客
12-07 1397
hadoop分布式集群环境搭建
来吧！手把手搭建Hadoop，从入门到放弃
weixin_44178352的博客
11-16 801
Hadoop集群搭建，在放弃的边缘徘徊，来吧，一步一步操作起来吧！
从零开始一步步介绍如何搭建Hadoop集群
05-30
从零开始一步步介绍如何搭建Hadoop集群
详解搭建ubuntu版hadoop集群
09-15
本篇文章主要介绍了详解搭建ubuntu版hadoop集群，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧
mac上基于docker搭建hadoop集群
01-20
对各个节点指定好功能 maseter为主节点，hadoop01 为从节点和datanode hadoop02 为yarn主节点负责各个节点的资源调度, hadoop02，hadoop03为datanode节点 OS hostname IP Centos8 hadoop-master ...
详解从 0 开始使用 Docker 快速搭建 Hadoop 集群环境
01-10
Linux Info: Ubuntu 16.10 x64 Docker 本身就是基于 Linux 的，所以首先以我的一台服务器做实验。虽然最后跑 wordcount 已经由于内存不足而崩掉，但是之前的过程还是可以参考的。 连接服务器 使用 ssh 命令连接远程...
从零开始在 Linux 上搭建 Hadoop 平台：一个详细的教程和必备配置文件
最新发布
canshanyin的博客
05-02 3810
在本文中，我们讨论了从头开始在 Linux 上搭建 Hadoop 平台所需的步骤。我们讨论了如何选择适当的 Linux 发行版，如何安装和配置 Java 环境，以及如何下载和配置 Hadoop。此外，我们还讨论了 Hadoop 的必要配置文件的内容，并展示了如何启动 Hadoop 和测试它是否正常运行。此外，为了更详细地了解如何配置和管理 Hadoop，请参阅 Apache Hadoop 的官方文档。
超详细版本|Linux Centos7从零搭建Hadoop集群及运行MapReduce分布式集群案例(全网最详细教程！)
未来社会二十年发展的核心技术趋势由ABCD四个字母组成，分别是AI（人工智能）、BlockChain（区块链）、Cloud（云）、和Data（大数据）每一次进步都有新的认知和感触
11-20 6949
花了快2小时的超详细版本的Linux从零搭建Hadoop集群(CentOS7+hadoop 3.2.0+JDK1.8+Mapreduce完全分布式集群案例+详细源码图文讲解)终于整理完成了！里面有详细的代码讲解及图文操作，能够更好的帮助大家搭建，希望此教程对各位有所帮助，这些都已经试过水了，各位环境配置和操作没问题的话，基本都能部署完成，我这里部署了一个从机node1节点，可以根据自己需要增加3台或者更多node节点，节点配置信息修改的操作都是一样的。祝各位部署一切顺利！
从零开始的Hadoop完全分布式搭建
qq_62485695的博客
03-08 198
Hadoop完全分布式的搭建
从零开始搭建Hadoop
qq_42722145的博客
04-10 333
第一部分：准备工作 1 安装虚拟机 2 安装centos7 3 安装JDK 以上三步是准备工作，至此已经完成一台已安装JDK的主机 第二部分：准备３台虚拟机 以下所有工作最好都在root权限下操作 1 克隆 上面已经有一台虚拟机了,现在对master进行克隆,克隆出另外2台子机; 1.1 进行克隆2 1.2 下一步 1.3 下一步 1.4 下一步 1.5 根据子机需要,命名和安装路径 1.6 ...
从零开始搭建hadoop集群
wx740851326的博客
11-05 651
创作不易，请勿抄袭，转载请注明出处。如有疑问，请加微信 wx15151889890，谢谢。 [本文链接:]https://blog.csdn.net/wx740851326/article/details/https://blog.csdn.net/wx740851326/article/details/83744662 本文主要记叙了如何在centos7.2上搭建cdh平台，使用mysql为元数...
Hadoop入门·从零搭建hadoop集群
empyan的博客
02-10 2669
    首先先介绍下集群。就是现在是大数据时代嘛。生活中每天无时无刻都在产生着海量数据，这些数据都是很有价值的，比如分析用户数据可以掌握用户喜好，进行针对推荐之类，医学上分析病人数据可以训练机器人学会看病。那么庞大的数据量用一台机子去计算，无论你的配置有多好，都跟不上撑不住。所以一个任务要有多台机子一起完成，一个任务由多台机子进行计算。这些机子就组成一个集群。而Hadoop中的HDFS模块，也就...
史上最详细的Hadoop环境搭建,从0开始，图解全部过程
yanghenpi的博客
12-11 5459
Hadoop在大数据技术体系中的地位至关重要，Hadoop是大数据技术的基础，对Hadoop基础知识的掌握的扎实程度，决定在大数据技术道路上走多远。 这是一篇入门文章，Hadoop的学习方法很多，网上也有很多学习路线图。本文的思路是：以安装部署Apache Hadoop2.x版本为主线，来介绍Hadoop2.x的架构组成、各模块协同工作原理、技术细节。安装不是目的，通过安装认识Hadoop才是目...
史上最详细从零搭建分布式Hadoop集群环境
weixin_45997612的博客
03-25 160
史上最详细从零搭建分布式Hadoop集群环境和使用Hadoop集群搭建和使用一，简单介绍二，准备虚拟机环境三，安装包四，安装五，shell操作 Hadoop集群搭建和使用 一，简单介绍 HADOOP集群具体来说包含三个模块：HDFS集群，YARN集群（两者逻辑上分离，但物理上常在一起）和Mapreduce HDFS集群： 负责海量数据的存储，集群中的角色主要有 NameNode / DataNode YARN集群： 负责海量数据运算时的资源调度，集群中的角色主要有 ResourceManager /Node
怎么搭建hadoop集群
04-05
搭建Hadoop集群需要以下步骤： 1. 准备硬件设备：至少需要3台服务器，其中一台作为主节点（NameNode），其他的作为从节点（DataNode）。 2. 安装Java：在每台服务器上安装Java环境，Hadoop需要Java支持。 3. 下载...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值