全方位揭秘！大数据从0到1的完美落地之Hadoop部署完全分布式

已于 2023-04-12 18:36:11 修改
阅读量70 收藏
点赞数
文章标签： hadoop 大数据 分布式 hdfs mapreduce
于 2023-04-12 18:26:32 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42044506/article/details/130113708
版权

Hadoop的安装部署

完全分布式模式
完全分布式介绍

​ 在真实的企业环境中，服务器集群会使用到多台机器，共同配合，来构建一个完整的分布式文件系统。而在这样的分布式文件系统中，HDFS相关的守护进程也会分布在不同的机器上，例如:

  • NameNode守护进程，尽可能的单独部署在一台硬件性能较好的机器中。
  • 其他的每台机器上都会部署一个DataNode守护进程，一般的硬件环境即可。
  • SecondaryNameNode守护进程最好不要和NameNode在同一台机器上。
平台软件说明
平台&软件说明
宿主机操作系统Windows / MacOS
虚拟机操作系统CentOS 7
虚拟机软件Windows: VMWare
MacOS: Parallels Desktop
虚拟机主机名: qianfeng01, IP地址: 192.168.10.101
主机名: qianfeng02, IP地址: 192.168.10.102
主机名: qianfeng03, IP地址: 192.168.10.103
SSH工具Windows: MobaXterm / FinalShell
MacOS: FinalShell / iTerm2
软件包上传路径/root/softwares
软件安装路径/usr/local
JDKX64: jdk-8u321-linux-x64.tar.gz
ARM: jdk-8u321-linux-aarch64.tar.gz
HadoopX64: hadoop-3.3.1.tar.gz
ARM: hadoop-3.3.1-aarch64.tar.gz
用户root
守护进程布局
NameNodeDataNodeSecondaryNameNode
qianfeng01√√
qianfeng02√√
qianfeng03√
集群搭建准备

  1. 总纲

    1. 三台机器的防火墙必须是关闭的.
2. 确保三台机器的网络配置畅通(NAT模式，静态IP，主机名的配置)
3. 确保/etc/hosts文件配置了ip和hostname的映射关系
4. 确保配置了三台机器的免密登陆认证（克隆会更加方便）
5. 确保所有机器时间同步
6. jdk和hadoop的环境变量配置

  2. 防火墙关闭

    [root@qianfeng01 ~]# systemctl stop firewalld
[root@qianfeng01 ~]# systemctl disable firewalld
[root@qianfeng01 ~]# systemctl stop NetworkManager
[root@qianfeng01 ~]# systemctl disable NetworkManager

#最好也把selinux关闭掉，这是linux系统的一个安全机制，进入文件中将SELINUX设置为disabled
[root@qianfeng01 ~]# vi /etc/selinux/config
.........
SELINUX=disabled			
.........

  3. 主机映射

    [root@qianfeng01 ~]#  vi /etc/hosts
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6

192.168.10.101 qianfeng01  #添加本机的静态IP和本机的主机名之间的映射关系 
192.168.10.102 qianfeng02
192.168.10.103 qianfeng03

  4. 免密登录

    # 1. 使用rsa加密技术，生成公钥和私钥。一路回车即可
[root@qianfeng01 ~]# ssh-keygen -t rsa	

# 2. 使用ssh-copy-id命令
[root@qianfeng01 .ssh]# ssh-copy-id  root@qianfeng01
[root@qianfeng01 .ssh]# ssh-copy-id  root@qianfeng02
[root@qianfeng01 .ssh]# ssh-copy-id  root@qianfeng03

# 3. 进行验证	
[hadoop@qianfeng01 .ssh]# ssh qianfeng01
[hadoop@qianfeng01 .ssh]# ssh qianfeng02
[hadoop@qianfeng01 .ssh]# ssh qianfeng03

# 4. 继续在qianfeng02和qianfeng03生成公钥和私钥，给三台节点拷贝。

  5. 时间同步

    # 三台节点都要执行的命令
ntpdate ntp.aliyun.com

  6. 安装JDK和配置环境变量

    https://blog.csdn.net/weixin_42044506/article/details/130113633

4.3.3.5. 配置文件

  1. core-site.xml

    <configuration>
    <!-- 设置namenode节点 -->
    <!-- 注意: hadoop1.x时代默认端口9000 hadoop2.x时代默认端口8020 hadoop3.x时代默认端口 9820 -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://qianfeng01:9820</value>
    </property>
    
    <!-- hdfs的基础路径，被其他属性所依赖的一个基础路径 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/usr/local/hadoop-3.3.1/tmp</value>
    </property>
</configuration>

  2. hdfs-site.xml

    <configuration>
    <!-- 块的副本数量 -->
    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
    <!-- secondarynamenode守护进程的http地址：主机名和端口号。参考守护进程布局 -->
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>qianfeng02:9868</value>
    </property>
    <!-- namenode守护进程的http地址：主机名和端口号。参考守护进程布局 -->
    <property>
        <name>dfs.namenode.http-address</name>
        <value>qianfeng01:9870</value>
    </property>
</configuration>

  3. hadoop-env.sh

    export JAVA_HOME=/usr/local/jdk1.8.0_321

# Hadoop3中，需要添加如下配置，设置启动集群角色的用户是谁
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

  4. works

    qianfeng01
qianfeng02
qianfeng03

  5. 分发

    # 我们已经完成了一个节点的环境配置，其他的节点也需要保持完全相同的配置。我们只需要将qianfeng01节点的配置拷贝到其他的节点即可。
# 分发之前，先检查自己的节点数据文件是否存在
# 如果之间格式化过集群，那么会在core-site.xml中配置的hadoop.tmp.dir路径下生成文件，先将其删除
[root@qianfeng01 ~]# stop-dfs.sh
[root@qianfeng01 ~]# rm -rf $HADOOP_HOME/tmp

    [root@qianfeng01 ~]# cd /usr/local
[root@qianfeng01 local]# scp -r jdk1.8.0_321/ qianfeng02:$PWD
[root@qianfeng01 local]# scp -r jdk1.8.0_321/ qianfeng03:$PWD

[root@qianfeng01 local]# scp -r hadoop-3.3.1/ qianfeng02:$PWD
[root@qianfeng01 local]# scp -r hadoop-3.3.1/ qianfeng03:$PWD

[root@qianfeng01 local]# scp file/profile qianfeng02:/etc/
[root@qianfeng01 local]# scp file/profile qianfeng02:/etc/
4.3.3.6. 格式化集群
hdfs namenode -format
4.3.3.7. 启动集群
start-dfs.sh			# 启动HDFS所有进程(NameNode、SecondaryNameNode、DataNode)
stop-dfs.sh				# 停止HDFS所有进程(NameNode、SecondaryNameNode、DataNode)

hadoop-daemon.sh start namenode				# 只开启NameNode
hadoop-daemon.sh start secondarynamenode	# 只开启SecondaryNameNode
hadoop-daemon.sh start datanode				# 只开启DataNode

hadoop-daemon.sh stop namenode				# 只关闭NameNode
hadoop-daemon.sh stop secondarynamenode		# 只关闭SecondaryNameNode
hadoop-daemon.sh stop datanode				# 只关闭DataNode
4.3.3.8. 进程查看
# qianfeng01节点
[root@qianfeng01 hadoop]# jps
13442 NameNode
13618 DataNode
13868 Jps

# qianfeng02节点
[root@qianfeng02 ~]# jps
10514 SecondaryNameNode
10548 Jps
10405 DataNode

# qianfeng03节点
[root@qianfeng03 ~]# jps
10931 DataNode
11001 Jps
启动日志查看

​ HDFS的角色有三个: NameNode、SecondaryNameNode、DataNode，启动的时候也会有对应的日志文件生成。如果在启动脚本执行之后，发现对应的角色没有启动起来，那就可以去查看日志文件，检查错误的详情，解决问题。

  • 日志的位置: $HADOOP_HOME/logs

  • 日志的命名: hadoop-username-daemon-host.log

    例如:

    • hadoop-root-namenode-qianfeng01.log => qianfeng01节点上的namenode的日志
    • hadoop-root-datanode-qianfeng02.log => qianfeng02节点上的datanode的日志
集群常见问题

  • 格式化集群时，报错原因

    • 当前用户使用不当
    • /etc/hosts里的映射关系填写错误
    • 免密登录认证异常
    • jdk环境变量配置错误
    • 防火墙没有关闭

  • namenode进程没有启动的原因：

    • 当前用户使用不当
    • 重新格式化时，忘记删除${hadoop.tmp.dir}目录下的内容
    • 网络震荡，造成edit日志文件的事务ID序号不连续

  • datanode出现问题的原因

    • /etc/hosts里的映射关系填写错误
    • 免密登录异常
    • 重新格式化时，忘记删除${hadoop.tmp.dir}目录下的内容，造成datanode的唯一标识符不在新集群中。

  • 上述问题暴力解决: 重新格式化

    如果想重新格式化，那么需要先删除每台机器上的${hadoop.tmp.dir}指定路径下的所有内容，然后再格式化：最好也把logs目录下的内容也清空，因为日志内容已经是前一个废弃集群的日志信息了，留着也无用。

案例演示: wordcount

  1. 数据准备

    [root@qianfeng01 ~]# mkdir input && cd input
[root@qianfeng01 input]# echo "hello world hadoop linux hadoop" >> file1
[root@qianfeng01 input]# echo "hadoop linux hadoop linux hello" >> file1
[root@qianfeng01 input]# echo "hadoop linux mysql linux hadop" >> file1
[root@qianfeng01 input]# echo "hadoop linux hadoop linux hello" >> file1
[root@qianfeng01 input]# echo "linux hadoop good programmer" >> file2
[root@qianfeng01 input]# echo "good programmer qianfeng good" >> file2

  2. 上传到集群

    # 将数据上传到HDFS
[root@qianfeng01 input]# hdfs dfs -put ~/input/ /
# 检查是否已经上传成功
[root@qianfeng01 input]# hdfs dfs -ls -R /
drwxr-xr-x   - root supergroup          0 2022-01-28 13:11 /input
-rw-r--r--   1 root supergroup         31 2022-01-28 13:11 /input/file
-rw-r--r--   1 root supergroup        127 2022-01-28 13:11 /input/file1
-rw-r--r--   1 root supergroup         59 2022-01-28 13:11 /input/file2

  3. 执行任务

    [root@qianfeng01 input]# hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.1.jar wordcount /input /output

  4. 查看结果

    [root@qianfeng01 input]# hdfs dfs -cat /output/*
good	3
hadoop	9
hadop	2
hello	3
linux	10
mysql	2
programmer	2
qianfeng	1
world	1
拥抱大数据
关注
大数据技术应用6-2HDFS的高可用
m0_51679196的博客
09-04 635
HDFS的高可用
全方位揭秘！大数据从0到1的完美落地之MapReduce入门
weixin_42044506的博客
05-04 70
*通俗的说明：**分别记录车辆的个数，这个就是Map（每个人负责一个部分的车辆个数），再将每个人记录的车辆个数提交给分配任务的人，此时会汇总得到数据Reduce，其实这就是MapReduce（相同的key为一组进行一次reduce计算【原语】），这个效率是非常低下的！多个应用程序存在依赖关系，后一个应用程序的输入为前一个应用程序的输出，在这种情况下，MapReduce并不是不能做，而是使用后每个MapReduce作业的输出结果都会写入到磁盘，会造成大量的磁盘IO，导致性能非常低下。
比MySQL快801倍，字节阿里争相 部署，真香！
xmt1139057136的专栏
07-02 401
信息化时代，数据即价值。前瞻未来，数据价值的挖掘和沉淀是大数据领域重要的发展方向，是大数据广大开发工程师进阶的必备技能和职业素养。OLAP（Online Analysis Process...
大数据转型方案：首推数据湖！
http://www.54tianzhisheng.cn/
10-25 341
数仓技术应对关系型结构化数据游刃有余，但对于多元异构数据，却爱莫能助。最近行业大佬都在聊怎么部署数据湖，这波操作未来走向如何？数据湖技术能够实现全量数据的单一存储，通常存储原始格式的对象块...
2天，撸完Flink+Hudi+Iceberg数据湖落地系统，爽！
http://www.54tianzhisheng.cn/
02-20 363
数仓技术应对关系型结构化数据游刃有余，但对于多元异构数据，却爱莫能助。最近行业大佬都在聊怎么部署数据湖，这波操作未来走向如何？数据湖技术能够实现全量数据的单一存储，通常存储原始格式的对象块...
全面认识当前市面99%的大数据技术框架（附:各大厂大数据技术应用文章）
菜鸟也学大数据的博客
12-20 3853
大数据面试题(完整） 2020大数据面试题真题总结(附答案)：点击这里 技术栈 Hadoop 万亿数据下 Hadoop 的核心竞争力：点击这里 HBase HBase应用与高可用实践：点击这里 Kafka 基于 Kafka 的实时计算引擎如何选择？Spark or Flink ？：点击这里 Kafka 应用实践与生态集成：点击这里 Druid 深入分析Druid存储结构：点击这里 Kylin、Druid、ClickHouse核心技术对比：点击这里 ClickHouse ClickHouse的核心特性及架构：
从Hadoop到ClickHouse，现代BI系统有哪些问题？如何解决？
大数据
06-23 4737
导读：一次机缘巧合，在研究BI产品技术选型的时候，我接触到了ClickHouse，瞬间就被其惊人的性能所折服。这款非Hadoop生态、简单、自成一体的技术组件引起了我极大的好奇。那么Cl...
拥抱云原生！COS数据湖加速器GooseFS存算分离实践及性能优化
QcloudCommunity的博客
02-28 430
导语|GooseFS是一个分布式缓存系统。是存算分离架构中的一个重要角色，为上层计算框架和底层存储系统构建了桥梁。本文先对GooseFS的基础概念进行介绍，再对其架构及实践运用场景进行...
ZK淘汰倒计时！Kafka3的KRaft简直yyds！
chengjun_java的专栏
02-22 786
如果说独立和自由是人类所向往的，那么极简和自由则是一款软件的追求。凭借着高吞吐、低延迟的优势深受众多公司青睐的分布式消息队列框架Kafka多年来却重度依赖Zookeeper才能运行，不仅处...
大数据hadoop框架完全分布式部署
04-15
大数据hadoop框架完全分布式部署，通俗易懂，零基础小白可搭建，详细步骤注解！！！
部署全分布模式Hadoop集群 实验报告
04-18
部署全分布模式Hadoop集群 实验报告一、实验目的 1. 熟练掌握 Linux 基本命令。 2. 掌握静态 IP 地址的配置、主机名和域名映射的修改。 3. 掌握 Linux 环境下 Java 的安装、环境变量的配置、Java 基本命令的使用。 ...
Hadoop完全分布式部署
需要远程指导仿真实验、代码有问题的，请后台私信或者关注公众号
06-25 2982
要想深入的学习hadoop数据分析技术，首要的任务是必须要将hadoop集群环境搭建起来，可以将hadoop简化地想象成一个小软件，通过在各个物理节点上安装这个小软件，然后将其运行起来，就是一个hadoop分布式集群了。(1）学会hadoop完全分布式配置 (2）理解完全分布式配置的配置文件本次环境是：Ubuntu16.04 + jdk1.8.0_73+hadoop-2.7.3Hadoop 集群的安装配置大致为如下流程:   选定一台机器作为 master，在 master 节点上安装 Hadoop，配置网
【Hadoop】安装部署-完全分布式搭建
Deity567的博客
06-28 2614
Hadoop是一个适合大数据的分布式存储和计算平台。狭义上说Hadoop就是一个框架平台，广义上讲Hadoop代表大数据的一个技术生态圈，包括很多软件框架。而我们的完全分布式，指的是在真实环境下，使⽤多台机器，共同配合，来构建⼀个完整的分布式 ⽂件系统。在真实环境中，hdfs中的相关守护进程也会分布在不同的机器中。Hadoop是大数据中的基础框架，有着广泛的应用，也是其他大数据框架的基础。总的来说，对于本次Hadoop的完全分布式的搭建还算是挺简单滴啦，若有不对滴还请大家在评论区指正哦！
比较Elasticsearch和Hadoop
最新发布
月亮的技术博客
10-03 288
它将数据存储在索引中，并提供复杂的搜索和分析功能，适用于处理实时数据分析、日志分析、监控等任务。Hadoop以其强大的批处理能力和复杂的数据处理模型著称，而Elasticsearch则以其高效的实时搜索和分析能力脱颖而出。Elasticsearch和Hadoop都支持分布式处理，能够跨多个节点进行数据存储和处理，从而充分利用集群的计算和存储资源。这种存储方式更加灵活和高效，适合处理实时搜索和分析任务。Elasticsearch和Hadoop都适用于处理大规模数据集，能够高效地管理和分析海量数据。
基于Hadoop的微博舆情监测分析系统
计算机学姐的博客
09-29 985
【2025最新】基于大数据+大屏可视化+SpringBoot+Vue+MySQL的微博舆情监测分析系统及可视化系统。
Hadoop搭建及Springboot集成
weixin_42370957的博客
09-30 1183
Hadoop搭建及Springboot使用hdfs上传文件
基于Hive和Hadoop的用电量分析系统
图南的博客
09-27 644
本项目是一个基于大数据技术的用电量分析系统，旨在为用户提供全面的电力消耗信息和深入的用电量分析。系统采用 Hadoop 平台进行大规模数据存储和处理，利用 MapReduce 进行数据分析和处理，通过 Sqoop 实现数据的导入导出，以 Spark 为核心进行高效的数据处理。整个系统结合了大数据处理技术，为用户提供准确的用电量数据和深入的用电行为分析，帮助用户更好地了解电力使用趋势和优化能源管理。
Hadoop三大组件之MapReduce（二）
m0_58076578的博客
09-28 5020
在HDFS（Hadoop Distributed File System）中，数据块是物理上将数据分成一块块的单位，是HDFS存储数据的基本单位。数据切片是在逻辑上对输入数据进行分块，它并不代表在磁盘上的物理切分。数据切片是MapReduce程序计算输入数据的单位，每个切片会对应启动一个MapTask。环形缓冲区是为了解决数据传输和处理效率而设计的，它在Map和Reduce阶段之间扮演着至关重要的角色。是MapReduce中默认的输入格式，负责将输入数据划分为切片。默认情况下，切片大小等于Block大小。
Hadoop集群搭建完全指南：从裸机到分布式
"该资源是一份关于从零开始搭建完全分布式Hadoop的教程，涵盖了从裸机准备到完全分布式模式的全过程。主要内容包括单机模式、伪分布式模式和完全分布式模式的搭建步骤，以及相关配置和环境变量设定。" 在搭建Hadoop...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值