一起重新开始学大数据-hadoop篇-Day44-Hadoop、hdfs概述架构简析，Hadoop集群搭建

最新推荐文章于 2022-09-02 17:17:34 发布
最新推荐文章于 2022-09-02 17:17:34 发布
阅读量378 收藏 3
点赞数 1
分类专栏： 大数据从零开始学习 大数据 文章标签： hadoop big data
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/tiand7/article/details/119970249
版权
一起重新开始学大数据-hadoop篇-Day44-Hadoop、hdfs概述架构简析，Hadoop集群搭建

在这里插入图片描述

 
 
 
 
 

科普环节

概念、名词科普

  • Apache基金会
    是专门为支持开源软件项目而办的一个非盈利性组织
  • 服务器(节点)
    可以理解为我们的一台笔记本/台式机
    在这里可以认为是我们的一台虚拟机
    后面学习中，我们会把一台服务器称为一个节点
  • 机架
    负责存放服务器的架子
    在这里插入图片描述在这里插入图片描述

Hadoop概述：

Hadoop是一个适合海量数据的分布式存储和分布式计算的平台。

作者Doug Cutting 受Google三篇论文的启发，开发了hadoop。

  • Google FS
  • MapReduce
  • BigTable

hadoop三大组件

hadoop是一个统称，目前hadoop主要包含三大组件
hdfs：是一个分布式存储框架，适合海量数据存储
mapreduce：是一个分布式计算框架，适合海量数据计算
yarn：是一个资源调度平台，负责给计算框架分配计算资源

分布式存储

  • HDFS具有主从架构。

  • HDFS集群由单个名称节点组成，主服务器管理文件系统名称空间并控制客户机对文件的访问。此外，还有许多数据节点，通常是集群中每个节点一个，它们管理连接到运行它们的节点的存储。
    在这里插入图片描述

分布式存储介绍

  • 在分布式存储系统中，分散在不同节点中的数据可能属于同一个文件。
  • 为了组织众多的文件，把文件可以放到不同的文件夹中，文件夹可以一级一级的包含。我们把这种组织形式称为命名空间（namespace）。命名空间管理着整个服务器集群中的所有文件。
  • 集群中不同的节点承担不同的职责。
    • 负责命名空间职责的节点称为主节点（master node）
    • 负责存储真实数据职责的节点称为从节点（slave node）。
    • 主节点负责管理文件系统的文件结构，从节点负责存储真实的数据，称为主从式结构（master-slaves）。
    • 用户操作时，应该先和主节点打交道，查询数据在哪些从节点上存储，然后再到从节点读取。
    • 在主节点上，为了加快用户访问的速度，会把整个命名空间信息都放在内存中，当存储的文件越多时，那么主节点就需要越多的内存空间。
    • 在从节点存储数据时，有的原始数据文件可能很大，有的可能很小，大小不一的文件不容易管理，那么可以抽象出一个独立的存储文件单位，称为块（block）。
    • 数据存放在集群中，可能因为网络原因或者节点硬件原因造成访问失败，最好采用副本（replication）机制，把数据同时备份到多台节点中，这样数据就安全了，数据丢失或者访问失败的概率就小了。

hdfs架构分析

  • 负责数据的分布式存储
  • 主从结构
    • 主节点，可以有2个：namenode
    • 从节点，有多个：datanode
  • namenode负责
    • 接收用户操作请求，是用户操作的入口
    • 维护文件系统的目录结构，称作命名空间
  • datanode负责
    • 存储数据

mapreduce架构分析

  • 依赖磁盘io的批处理计算模型
  • 主从结构
    • 主节点，只有一个: MRAppMaster
    • 从节点，就是具体的task
  • MRAppMaster负责
    • 接收客户端提交的计算任务
    • 把计算任务分给NodeManager的Container中执行，即任务调度
      • Container是YARN中资源的抽象，它封装了某个节点上一定量的资源（CPU和内存两类资源）
      • Container由ApplicationMaster向ResourceManager申请的，由ResouceManager中的资源调度器异步分配给ApplicationMaster
      • Container的运行是由ApplicationMaster向资源所在的NodeManager发起的
    • 监控Container中Task的执行情况
  • Task负责：
    • 处理数据

hadoop特点

  • 扩容能力(Scalable)：能可靠(reliably)地存储和处理PB级别的数据。如果数据量更大，存储不下了,再增加节点就可以了。
  • 成本低(Economical):可以通过普通机器组成的服务器集群来分发以及处理数据.这些服务器集群可达数千个节点。
  • 高效率(Efficient):通过分发计算程序,hadoop可以在数据所在节点上(本地)并行地(parallel)处理他们,这使得处理非常的迅速
  • 可靠性(Reliable):hadoop能够自动地维护数据的多份副本,并且在任务失败后能够自动地重新部署(redeploy)计算任务.

 
 
 
 
 
 
 
 

Hadoop集群搭建（分布式版本）

一、准备工作

  • 三台虚拟机：master、node1、node2

  • 时间同步

1.安装chrony
yum install chrony
2.启用
systemctl start chronyd
systemctl enable chronyd
3.设置时区
timedatectl set-timezone Asia/Shanghai
4.启用NTP同步
timedatectl set-ntp yes
  • jdk1.8

java -version

  • 修改主机名

    三台分别执行 vim /etc/hostname 并将内容指定为对应的主机名

  • 关闭防火墙：systemctl stop firewalld

    • 查看防火墙状态：systemctl status firewalld
    • 取消防火墙自启：systemctl disable firewalld

  • 静态IP配置

    • 直接使用图形化界面配置（不推荐）

    • 手动编辑配置文件进行配置

      1、编辑网络配置文件
vim /etc/sysconfig/network-scripts/ifcfg-ens33

TYPE=Ethernet
BOOTPROTO=static
HWADDR=00:0C:29:E2:B8:F2
NAME=ens33
DEVICE=ens33
ONBOOT=yes
IPADDR=192.168.190.100
GATEWAY=192.168.190.2
NETMASK=255.255.255.0
DNS1=192.168.190.2
DNS2=223.6.6.6

需要修改：HWADDR（mac地址）
		IPADDR（根据自己的网段，自定义IP地址）
		GATEWAY（根据自己的网段填写对应的网关地址）

2、关闭NetworkManager，并取消开机自启
systemctl stop NetworkManager
systemctl disable NetworkManager

3、重启网络服务
systemctl restart network

  • 免密登录

    ①生成密钥
    ssh-keygen -t rsa
    ②配置免密登录
    ssh-copy-id master
    ssh-copy-id node1
    ssh-copy-id node2
    ③测试免密登录
    ssh node1

  • 配置好映射文件：/etc/hosts

    192.168.190.100 master
192.168.190.101 node1
192.168.190.102 node2

二、搭建Hadoop集群

1、上传安装包并解压

使用xftp上传压缩包至master的/usr/local/soft/packages/

cd /usr/local/soft/packages/
解压
tar -zxvf hadoop-2.7.6.tar.gz -C /usr/local/soft/

2、配置环境变量

vim /etc/profile

JAVA_HOME=/usr/local/soft/jdk1.8.0_171
HADOOP_HOME=/usr/local/soft/hadoop-2.7.6
export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

重新加载环境变量
source /etc/profile

3、修改Hadoop配置文件

  • cd /usr/local/soft/hadoop-2.7.6/etc/hadoop/

  • core-site.xml

        <property>
        <name>fs.defaultFS</name>
        <value>hdfs://master:9000</value>
    </property>

    <property>
        <name>hadoop.tmp.dir</name>
        <value>/usr/local/soft/hadoop-2.7.6/tmp</value>
    </property>

    <property>
        <name>fs.trash.interval</name>
        <value>1440</value>
    </property>

  • hadoop-env.sh

    export JAVA_HOME=/usr/local/soft/jdk1.8.0_171

  • hdfs-site.xml

        <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>

    <property>
        <name>dfs.permissions</name>
        <value>false</value>
    </property>

  • mapred-site.xml.template

    # 1、重命名文件
cp mapred-site.xml.template mapred-site.xml
# 2、修改
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>

    <property>  
        <name>mapreduce.jobhistory.address</name>  
        <value>master:10020</value>  
    </property>  

    <property>  
        <name>mapreduce.jobhistory.webapp.address</name>  
        <value>master:19888</value>  
    </property>

  • slaves

    node1
node2

  • yarn-site.xml

        <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>master</value>
    </property>

    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>

    <property>
        <name>yarn.log-aggregation-enable</name>
        <value>true</value>
    </property>

    <property>
        <name>yarn.log-aggregation.retain-seconds</name>
        <value>604800</value>
    </property>

4、分发Hadoop到node1、node2

cd /usr/local/soft/

scp -r hadoop-2.7.6/ node1:`pwd`

scp -r hadoop-2.7.6/ node2:`pwd`

5、格式化namenode（第一次启动的时候需要执行）

hdfs namenode -format

6、启动Hadoop集群

start-all.sh

7、检查master、node1、node2上的进程

  • master：

    [root@master soft]# jps
2597 NameNode
2793 SecondaryNameNode
2953 ResourceManager
3215 Jps

  • node1：

    [root@node1 jdk1.8.0_171]# jps
11361 DataNode
11459 NodeManager
11559 Jps

  • node2：

    [root@node2 ~]# jps
11384 DataNode
11482 NodeManager
11582 Jps

8、访问HDFS的WEB界面

http://master:50070

在这里插入图片描述

9、访问YARN的WEB界面

http://master:8088

在这里插入图片描述

|
|
|
|

上一章-hadoop先导篇-Day43-Redis的主从复制和集群搭建
下一章-hadoop篇-Day45-hdfs解析和zookeeper安装
|
|
|
|
|

听说长按大拇指👍会发生神奇的事情呢！好像是下面的画面，听说点过的人🧑一个月内就找到了对象的💑💑💑，并且还中了大奖💴$$$，考试直接拿满分💯，颜值突然就提升了😎，虽然对你好像也不需要，是吧，吴彦祖🤵！

在这里插入图片描述在这里插入图片描述在这里插入图片描述

你的动作太慢了！
关注
  • 1
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
hadoop环境新手安装教程
ytz201201的博客
02-15 2465
这一步需要对hadoop下的 core-site.xml、hadoop-env.sh、hdfs-site.xml、mapred-site.xml、yarn-site.xml等文件进行配置。这里我用了3台虚拟机，1台改为master，另外2台分别改为node1和node2。（3）IP地址改写，这里需要修改虚机的配置，选择NAT模式，DHCP选择想要的网段就行。这里根据每台虚机的ip选择相应的hostname就行。7、环境的配置已经改完了。（2）hadoop安装包：我的是hadoop-3.3.1。
大数据学习(1)-Hadoop HDFS基础分布式集群搭建及使用
热门推荐
17611119847
06-05 1万+
HDFS分布式集群搭建【基础版】环境：以CentOS6.5为例(3个节点)准备配置文件修改NameNode格式化启动|停止hadoop【在NameNode节点运行】shell访问HDFS浏览器访问HDFC 环境：以CentOS6.5为例(3个节点) 防火墙关闭并关闭自启 selinux设置关闭 设置主机名 设置主机映射 jdk1.7 ssh免密登陆 hadoop-2.5.2 准备 解压hado...
Hadoop入门第一天：安装Hadoop运行环境
qq_43619335的博客
03-07 176
一、在Linux中配置Hadoop运行环境。 两个必要的程序：JDK(1.7或更高版本)和SSH（安全外壳协议）主要用于主机间的免密登录。 1.用户创建 首先创建hadoop用户组，输入命令: groupadd hadoop 创建hduser用户，输入命令: useradd -g hadoop hduser 设置hduser密码，输入命令: passwd hduse...
大数据hadoop入门第一天
qq_34998126的博客
05-25 194
一.先在vm上安装linux虚拟机,我这里用的是centos6的版本1.vm三种网络模式介绍a)桥接模式:          在桥接模式下，虚拟机ip地址需要与主机在同一个网段，如果需要联网，则网关与DNS需要与主机网卡一致    设置虚拟机主机ip与本机ip在同一网段 (桥接模式适用于ip资源较多的情况下  如果ip资源少则应该采用nat模式)b)nat模式:(我采用的这种,vm中设置网段192...
Hadoop配置和启动
guan_xfeng的博客
04-26 3658
Apache的Hadoop是一个开源的、可靠的、可扩展的系统架构，可利用分布式架构来存储海量数据，以及实 现分布式的计算。 Hadoop允许使用简单的编程模型在计算机集群中对大型数据集进行分布式处理。可以从单个服务器扩展到数 千台机器，每个机器都提供本地计算和存储，而不是依靠硬件来提供高可用性。 此外，Hadoop集群的高可用性也非常良好，因为框架内的机制是可以够自动检测和处理故障。 Hadoop的两个作用： ①存储海量数据(HDFS) ②计算海量数据(MapReducer) Hadoop配置及启动的准备工
大数据Hadoop集群的启动
赵广陆
10-27 1万+
目录1 启动准备工作1.1 配置操作系统的环境变量1.2 创建Hadoop数据目录1.3 格式化文件系统1.4 启动和关闭Hadoop1.5 验证Hadoop是否成功启动1.6 hadoop-daemon.sh的使用2 HDFS常用的操作命令3 hdfs的高级使用命令3.1 HDFS文件限额配置3.2 数量限额3.3 空间大小限额3.4 HDFS的管理命令3.5 hdfs的安全模式 1 启动准备工作 通过前面的配置现在可以启动Hadoop集群了，但是在首次启动Hadoop时还需要做一些准备工作。 1.1
大数据运维之hadoop的概念单机搭建HDFS集群搭建1
朱海燕的博客日记
06-19 693
运维需要做的工作:收集数据,搭建平台,数据分析,反馈结果 大数据能做什么 企业组织利用相关数据分析帮助他们降低成本,提高效率,开发新产品,做出更明智的业务决策等 把数据集合并后进行分析得出的信息和数据关系性,用来察觉商业趋势,判定研究质量, 大规模并行出来数据库,数据挖掘电网,分布式文件系统或数据库,云计算和可扩展的存储系统等 大数据的特性:数量,速度,种类,真实性,价值 hadoop 一种分析和处理海量数据的软件平台,是开源软件,使用java开发,提供一个分...
五分钟学大数据-Hadoop企业级调优手册1
08-03
【标题】：“五分钟学大数据-Hadoop企业级调优手册1” 【描述】：该文档主要涵盖了Hadoop大数据系统的企业级优化方法，包括了HDFS（Hadoop分布式文件系统）的核心参数调整、集群压力测试、多目录配置、数据均衡以及...
五分钟学大数据-Hadoop知识体系吐血宝典1
08-03
【标题】：“五分钟学大数据-Hadoop知识体系吐血宝典1” 【描述】：文档涵盖了Hadoop中的HDFS（Hadoop Distributed File System）基础及高级使用，重点讲述了HDFS文件的写入和读取过程。 【标签】： 【正文】： ...
hadoop-hdfs-fsimage-exporter：将Hadoop HDFS内容统计信息导出到Prometheus
02-03
Prometheus Hadoop HDFS FSImage导出器 | 将Hadoop HDFS统计信息导出到包括 总数/每个用户/每个组/每个配置的目录路径/每个路径集 目录数 文件数 文件大小和大小分布（可选） 块数 文件复制（总体/每个用户摘要）...
hdfs-over-ftp-hadoop-0.20.0.rar_ftp_ftpoverhdfs_hdfs文件传入ftp_java
09-14
标题 "hdfs-over-ftp-hadoop-0.20.0.rar" 提示我们关注的是一个关于将HDFS（Hadoop Distributed File System）与FTP（File Transfer Protocol）整合的项目，特别适用于版本0.20.0的Hadoop。这个项目可能提供了在...
大数据处理架构Hadoop-Hadoop安装完整版资料.pptx
最新发布
11-13
【大数据处理架构Hadoop】 Hadoop是大数据处理领域的一个核心框架，由Apache软件基金会开发，主要设计用于处理和存储海量数据。它是一个分布式文件系统，能够以高容错性的方式在 commodity hardware（普通硬件）...
Hadoop集群搭建（分布式）
weixin_52731998的博客
02-10 1341
文章目录Hadoop集群搭建（分布式版本）一、准备工作二、搭建Hadoop集群1、上传安装包并解压2、配置环境变量3、修改Hadoop配置文件4、分发Hadoop到node1、node25、格式化namenode（第一次启动的时候需要执行）6、启动Hadoop集群7、检查master、node1、node2上的进程8、访问HDFS的WEB界面9、访问YARN的WEB界面 Hadoop集群搭建（分布式版本） 一、准备工作 三台虚拟机：master、node1、node2 时间同步 ntpdate nt
Hadoop启动
m0_67401134的博客
08-16 2742
这里会给你报出不赞同的问题，但是也是可以使用的，最好是采用分别运行HDFS、YARN的方式来启动Hadoop。额外说一下分别运行HDFS、YARN的方式来启动Hadoop（非常简单）博主用的是Cent0S XShell7使用Hadoop。这个时候就启动成功了。输入jps就可以查看进程了。这个时候，你的Hadoop已经运行起来了。1.启动Hadoop。...
Hadoop集群的启动顺序
m0_67403240的博客
09-02 2368
对于hadoop，使用Zookeeper的事件处理确保整个集群只有一个活跃的NameNode，存储配置信息，对于HBase，使用Zookeeper的事件处理确保整个集群只有一个HMaster,察觉HRegionServer的联机和宕机，存储访问控制列表等。Hadoop中的两个NameNode为了数据同步，会使用journalnode的独立进程进行相互通信，必须至少3个节点，个数为奇数个。/zookeeper-3.4.5/bin//hadoop-2.7.1/sbin/1.启动zookeeper集群。
Hadoop集群的启动步骤 ？？？
岚风尘雨吾独醉、
08-20 1142
关闭集群的命令 stop-all.sh 1.先启动zookeeper集群 在zookeeper安装目录的bin目录下执行，sh zkServer.sh start 出现leader和follower时候说明启动成功 如果是第一次启动Hadoop集群，需要先将hdfs注册到zookeeper集群中，不是第一次 则忽略 命令是 hdfs zkfc -formatZK 2....
简单的MapReduce实践
qq_42582489的博客
03-21 1997
简单的MapReduce实践 文章目录简单的MapReduce实践操作环境实现文件合并和去重操作新建项目新建Java程序打包程序运行程序参考文章 操作环境 操作系统：Ubuntu 16.04 JDK 版本：1.8 Hadoop 版本：Hadoop 3.1.3 Java IDE：Eclipse 我的 Hadoop安装目录是“/usr/local/hadoop”，环境变量 HDAOOP_HOME也...
HDFS常用命令与命令大全及其用法
tiand7的博客
08-30 1万+
最常用命令 -ls 查看hdfs上目录，如 hdfs dfs -ls / -put 将本地文件上传到hdfs，如hdfs dfs -put 本地文件路径 hdfs路径 -get 将hdfs文件下载到本地，如 hdfs dfs -get hdfs文件路径 本地文件路径 -mkdir 在hdfs 上创建文件夹，如hdfs dfs -mkdir /test -cp 将hdfs文件或目录复制 如 hdfs dfs -cp /test.txt /a/ -cat 查看hdfs上文件内容
BC-Hadoop开发指南：快速掌握企业级大数据处理
2. **系统架构**：详细解释了BC-Hadoop的组成部分，主要包括Hadoop Distributed File System (HDFS)、MapReduce和YARN。HDFS负责分布式存储，MapReduce提供了并行处理能力，而YARN则是一个资源调度器，用于管理计算...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

你的动作太慢了！

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值