Hadoop入门以及环境部署

最新推荐文章于 2023-06-29 17:17:05 发布
最新推荐文章于 2023-06-29 17:17:05 发布
阅读量259 收藏 1
点赞数
分类专栏： Hadoop学习笔记 文章标签： hadoop big data hdfs
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40432544/article/details/121270052
版权

Hadoop入门与环境配置

一、大数据概念

1、大数据概念

​ 大数据（Big Data）：指无法在一定时间范围内用常规软件工具进行捕获、管理和处理的数据集合，是需要新处理模式才能具有更强决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

​ 主要解决海量数据的存储和海量数据的分析计算问题。

​ 大数据的特点为：大量（Volume）、高速（Velocity）、多样（Variety）、低密度价值（Value）。

二、从Hadoop框架讨论大数据生态

2.1Hadoop是什么？

  1. Hadoop是一个有Apache基金会所开发的分布式基础架构。

  2. 主要解决海量数据的存储和海量数据的分析计算问题。

  3. 广义上来说，Hadoop通常是指一个更广泛的概念——Hadoop生态圈。

    Hadoop的优势（4高）：

    高可靠：Hadoop底层维护多个数据副本，即使Hadoop某个计算元素或存储出现故障，也不会导致数据丢失。

    高扩展性：在集群间分配任务，可方便地扩展数以千计的节点。

    高效性：在MapReduce的思想下，Hadoop是并行工作的，以加快任务处理速度。

2.2 Hadoop三大发行版本

  • Apache版本最原始（最基础）的版本，对于入门学习最好。

​ 官网地址：http://hadoop.apache.org/releases.html

​ 下载地址：https://archive.apache.org/dist/hadoop/common/

  • Cloudera内部集成了很多大数据框架。对应产品CDH。（Cloudera Manager，Cloudera Support）

    官网地址：https://www.cloudera.com/downloads/cdh/5-10-0.html

    下载地址：http://archive-primary.cloudera.com/cdh5/cdh/5/

    CDH是Cloudera的Hadoop发行版，完全开源，比Apache Hadoop在兼容性，安全性，稳定性上有所增强。Cloudera的标价为每年每个节点10000美元。

    Cloudera Manager是集群的软件分发及管理监控平台，可以在几个小时内部署好一个Hadoop集群，并对集群的节点及服务进行实时监控。

  • Hortonworks文档较好。对应产品HDP。

​ 官网地址：https://hortonworks.com/products/data-center/hdp/

​ 下载地址：https://hortonworks.com/downloads/#data-platform

​ Hortonworks的主打产品是Hortonworks Data Platform（HDP），也同样是100%开源的产 品，HDP除常见的项目外还包括了Ambari，一款开源的安装和管理系统。Hortonworks目前 已 经被Cloudera公司收购。

2.3Hadoop组成

2.3.1Hadoop1.x与Hadoop2.x的区别

在这里插入图片描述

在Hadoop1.x的时代，Hadoop中的Map Reduce同时处理业务逻辑运算和资源的调度，耦合性高。在Hadoop2.x时代，增加了Yarn。两者分工合作，Yarn只负责资源的调度，Map Reduce只负责业务逻辑运算。

2.3.2HDFS架构概述

​ Hadoop分布式文件系统（HDFS）是指被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统（Distributed File System）。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。HDFS放宽了（relax）POSIX的要求（requirements）这样可以实现流的形式访问（streaming access）文件系统中的数据。

​ 整个HDFS集群由NameNode和DataNode构成master-worker（主从）模式。NameNode负责构建命名空间，管理文件的元数据等，而DataNode负责实际存储数据，负责读写工作。

NameNode

NameNode存放文件系统树及所有文件、目录的元数据。元数据持久化为2种形式：

  • namespace image
  • edit log

但是持久化数据中不包括Block所在的节点列表，及文件的Block分布在集群中的哪些节点上，这些信息是在系统重启的时候重新构建（通过DataNode汇报的Block信息）。
在HDFS中，NameNode可能成为集群的单点故障，NameNode不可用时，整个文件系统是不可用的。HDFS针对单点故障提供了2种解决机制：

1）备份持久化元数据
将文件系统的元数据同时写到多个文件系统， 例如同时将元数据写到本地文件系统及NFS。这些备份操作都是同步的、原子的。

2）Secondary NameNode
Secondary节点定期合并主NameNode的namespace image和edit log， 避免edit log过大，通过创建检查点checkpoint来合并。它会维护一个合并后的namespace image副本， 可用于在NameNode完全崩溃时恢复数据。

​ Secondary NameNode通常运行在另一台机器，因为合并操作需要耗费大量的CPU和内存。其数据落后于NameNode，因此当NameNode完全崩溃时，会出现数据丢失。 通常做法是拷贝NFS中的备份元数据到Second，将其作为新的主NameNode。
​ 在HA（High Availability高可用性）中可以运行一个Hot Standby，作为热备份，在Active NameNode故障之后，替代原有NameNode成为Active NameNode。

DataNode

数据节点负责存储和提取Block，读写请求可能来自NameNode，也可能直接来自客户端。数据节点周期性向NameNode汇报自己节点上所存储的Block相关信息

2.4 Yarn架构概述

在这里插入图片描述

2.5 MapReduce架构概述

MapReduce将计算过程分为两个阶段：MAP和Reduce

  1. Map阶段并行处理输入数据
  2. Reduce阶段对Map阶段的结果进行汇总

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-iDUlf4Mn-1636618223163)(C:\Users\梧桐\AppData\Roaming\Typora\typora-user-images\image-20211109184911802.png)]

2.6大数据技术生态体系

在这里插入图片描述

图中涉及的技术名词解释如下：

1）Sqoop : Sqoop是一款开源的工具，主要用于在Hadoop、Hive与传统的数据库（MySQL）间进行数据的传递，可以将一个关系型数据库（例如 ：MySQL，Oracle 等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。

2）Flume : Flume是一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；

3）Kafka : Kafka是一种高吞吐量的分布式发布订阅消息系统；

4）Storm : Storm用于“连续计算”，对数据流做连续查询，在计算时就将结果以流的形式输出给用户。

5）Spark : Spark是当前最流行的开源大数据内存计算框架。可以基于Hadoop上存储的大数据进行计算。

6）Flink : Flink是当前最流行的开源大数据内存计算框架。用于实时计算的场景较多。

7）Oozie : Oozie是一个管理Hdoop作业（job）的工作流程调度管理系统。

8）Hbase : HBase是一个分布式的、面向列的开源数据库。HBase不同于一般的关系数据库，它是一个适合于非结构化数据存储的数据库。

9）Hive : Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的SQL查询功能，可以将SQL语句转换为MapReduce任务进行运行。 其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。

10）ZooKeeper ：它是一个针对大型分布式系统的可靠协调系统，提供的功能包括：配置维护、名字服务、分布式同步、组服务等。

三、Hadoop运行环境搭建

准备3台虚拟机，内存4G,硬盘50G。

1、修改克隆虚拟机的静态IP

vi /etc/sysconfig/network-scripts/ifcfg-ens33

DEVICE=ens33
TYPE=Ethernet
ONBOOT=yes
BOOTPROTO=static
NAME="ens33"
IPADDR=192.168.1.101
PREFIX=24
GATEWAY=192.168.1.2
DNS1=114.114.114.114

2、保证Linux文件中IP地址、Linux虚拟网络编辑器地址和Windows系统VM8网络IP地址相同。

3、安装必要插件

yum install -y epel-release
yum install -y psmisc nc net-tools rsync vim lrzsz ntp libzstd openssl-static tree iotop git

4、修改主机名称和hosts配置

hostnamectl --static set-hostname hadoop101

​ 打开hosts配置文件根据自身情况设置主机名称映射

vim /etc/hosts

添加如下内容

192.168.1.100 hadoop100
192.168.1.101 hadoop101
192.168.1.102 hadoop102
192.168.1.103 hadoop103
192.168.1.104 hadoop104
192.168.1.105 hadoop105
192.168.1.106 hadoop106
192.168.1.107 hadoop107
192.168.1.108 hadoop108

并同步修改window系统中的内容。

5、关闭防火墙并禁用其自启

systemctl stop firewalld
systemctl disable firewalld

6、创建一个普通用户，并让其具有root权限

useradd [用户名]
passwd [用户名]

修改/etc/sudoers文件

visudo

## Allow root to run any commands anywhere
root  ALL=(ALL)   ALL
[用户名]  ALL=(ALL)  NOPASSWD:ALL

7、安装JDK环境和Hadoop到虚拟机中，并配置环境变量

​ 环境变量配置：创建并打开/etc/profile.d/my_env.sh（这样配置就是系统变量）

#my_env.sh 配置JAVA和Hadoop环境变量
export HADOOP_HOME=/opt/module/hadoop-3.1.3
export JAVA_HOME=/opt/module/jdk1.8.0_212
export PATH=$PATH:$JAVA_HOME/bin
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

​ 刷新并查看是否添加成功

source my_env.sh
echo $PATH

配置完一台后，再克隆两台出来，并对应修改 IP地址 和 hostname

export JAVA_HOME=/opt/module/jdk1.8.0_212
export PATH=$PATH:$JAVA_HOME/bin
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

​ 刷新并查看是否添加成功

source my_env.sh
echo $PATH

配置完一台后，再克隆两台出来，并对应修改 IP地址 和 hostname

梧桐1233
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
handoop分布式环境搭建
05-14
handoop分布式环境搭建
Hadoop（一）环境部署
qq5024581的博客
10-27 244
单机伪集群部署 环境： Ubuntu18.04虚拟机 Hadoop3.2.1 JDK8 1、下载清华镜像部署安装3.2.1版本 mkdir /var/lib/hadoop cd /var/lib/hadoop wget https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-3.2.1/hadoop-3.2.1.tar.gz tar -zvxf hadoop-3.1.2.tar.gz 2、添加用户组 #添加hadoop用户 s
Hadoop_服务器准备(虚拟机的安装和克隆)
qq_56870570的博客
08-16 2105
待写
Hadoop的集群环境部署说明
adnb34g的博客
03-27 1448
Hadoop集群环境搭建是很多学习hadoop学习者或者是使用者都必然要面对的一个问题，网上关于hadoop集群环境搭建的博文教程也蛮多的。对于玩hadoop的高手来说肯定没有什么问题，甚至可以说事“手到擒来”的事情，但对于hadoop的初学者来说，hadoop集群环境的搭建着实压力不小。网上关于hadoop集群环境搭建的文章有很多，可以说是“图文并茂”，对于新手而言即使步骤再详细，但看着这么多步...
hadoop在windows下的配置与运行（运行环境和开发环境配置）
fushengfei的专栏
08-15 194
在Windows下部署hadoop前，都需要安装cygwin软件，那么我们先来看一下，如何安装和配置cygwin 一、cygwin的安装与配置   1、什么是cygwin　cygwin是一个在windows平台上运行的unix模拟环境，是cygnus solutions公司开发的自由软件（该公司开发了很多好东西，著名的还有eCos，不过现已被Redhat收购）。它对于学习unix/linux操...
Hadoop入门·环境搭建
04-18
Hadoop入门之简单集群环境部署案例
Hadoop从入门到上手企业开发
07-15
015 Apache Hadoop 单机（本地）模式安装部署与测试 016 Hadoop 伪分布式安装部署 017 查看Hadoop 日志以及日志的格式和命名组成 018 Hadoop 守护进程服务三种启动停止方式 019 测试环境(HDFS Shell基本命令和运行...
基于Kubernetes平台部署Hadoop实践.docx
10-14
基于Kubernetes平台部署Hadoop实践.docx
大数据框架入门-hadoop(基于VMware的linux环境搭建/hadoop完全分布式部署/hadoop底层原理讲解)
02-19
下载学习本课程资料： 1.您将获取关于hadoop大数据框架的基础资料 ...掌握基础编程语言(有相关的编程经验的话更好)的对于大数据感兴趣的大数据入门初学者 资源文件的内容： 1.相关课件 2.专业讲师的视频教学
大数据技术 讲解Hadoop单机安装和集群部署的方法和步骤入门文档 适用于centos等操作系统（共24页）.pdf
09-04
EasyHadoop集群部署文档 ...................................................................................................................................................... 2 目录 ......................
Hadoop运行环境搭建
qq_41863755的博客
03-25 142
Hadoop运行环境搭建 虚拟机准备 准备工作：内存4G，硬盘50G /boot 200M /swap 2g / 剩余 克隆虚拟机 修改克隆虚拟机的静态IP vim /etc/sysconfig/network-scripts/ifcfg-eth0 DEVICE=eth0 TYPE=Ethernet UUID=48f68f88-92fa-4c41-809c-13ac9a95fb40 O...
Hadoop 运行环境搭建（详细）
weixin_48067943的博客
07-24 1289
Hadoop运行环境搭建（重点） 1、模板虚拟机环境准备 1.1 准备一台模板虚拟机（hadoop100） ​ 注：本文Linux系统环境全部以 CentOS-7.5-x86-1804 为例说明 模板虚拟机配置：内存4G，硬盘50G，安装必要环境，为安装hadoop做准备 [root@hadoop100 ~]# yum install -y epel-release [root@hadoop100 ~]# yum install -y psmisc nc net-tools rsync vim lrzsz
hadoop系列（一）概念、组件介绍、安装环境、配置
qq789aa134的博客
08-10 589
hadoop系列（一）概念、组件介绍、安装环境、配置
想转行大数据，如何开始学习 Hadoop？
程序猿
08-13 409
   学习大数据首先要了解大数据的学习路线，首先搞清楚先学什么，再学什么，大的学习框架知道了，剩下的就是一步一个脚印踏踏实实从最基础的开始学起。这里给大家普及一下学习路线：hadoop生态圈——Strom——Spark——算法。所以学习hadoop是第一步，在这里声明一下，在学习hadoop之前需要有java基础，因为hadoop底层全是用java写的；还需要系统层面学会使用linux的基本s...
Hadoop环境搭建
美国梦中国心
06-29 5828
Hadoop是一个由Apache基金会所创建的分布式系统基础架构，主要解决海量数据的存储和海量数据的分析计算问题，从广义上来说hadoop是数据存储分包器，可以存储大量的数据。
Hadoop - 1.Hadoop 的运行环境介绍
未昔的博客
07-22 705
hadoop 主要有三种运行模式： [单机模式] [伪分布模式] [完全分布模式] 单机模式 其中在单机模式下所有 3 个 XML 文件均为空，当配置文件为空时，Hadoop 会完全运行在本地，因为不需要与其他节点交互，单机模式就不使用 HDFS，也不加载任何 Hadoop 的守护进程。该模式主要用于开发调试 MapReduce 程序的应用逻辑。 伪分布式模式 在伪分布式模式下是指在“单节点集群”上运行 Hadoop，其中所有的守护进程都运行在同一台机器上，即 Jobtracker、Tasktr
大数据hadoop学习之运行环境搭建
qq_43399188的博客
05-22 202
注：Extra Packages for Enterprise Linux是为“红帽系”的操作系统提供额外的软件包，适用于RHEL、CentOS和Scientific Linux。相当于是一个软件仓库，大多数rpm包在官方 repository 中是找不到的。注意：这一行不要直接放到root行下面，因为所有用户都属于wheel组，你先配置了atguigu具有免密功能，但是程序执行到%wheel行时，该功能又被覆盖回需要密码。所以atguigu要放到%wheel这行下面。关闭虚拟机hadoop100。
hadoop入门hdfs
最新发布
08-12
Hadoop是一个开源的分布式计算框架，用于存储和处理大规模数据集。Hadoop的核心组件之一是HDFS（Hadoop Distributed File System），它是一个分布式文件系统，用于在Hadoop集群中存储数据。 要入门HDFS，首先需要安装Hadoop并配置HDFS。以下是一些入门步骤： 1. 下载Hadoop：从Apache Hadoop官方网站下载Hadoop的最新版本。 2. 配置Hadoop：解压下载的Hadoop文件，并编辑`hadoop/etc/hadoop/core-site.xml`和`hadoop/etc/hadoop/hdfs-site.xml`文件。 3. 配置core-site.xml：在该文件中，设置以下属性： - `fs.defaultFS`：指定HDFS的URL，例如`hdfs://localhost:9000` 4. 配置hdfs-site.xml：在该文件中，设置以下属性： - `dfs.replication`：指定文件的副本数量，默认为3。 - 其他可选属性，如块大小`dfs.blocksize`等。 5. 格式化HDFS：在终端中运行以下命令，格式化HDFS文件系统： ``` $ bin/hdfs namenode -format ``` 6. 启动HDFS：运行以下命令启动HDFS： ``` $ sbin/start-dfs.sh ``` 7. 验证HDFS启动：在浏览器中访问`http://localhost:50070`，可以看到Hadoop集群的Web界面。 现在，你已经成功入门HDFS。你可以使用Hadoop命令行工具（如`hdfs dfs`）或Hadoop的API来操作HDFS，例如上传文件、创建目录、删除文件等。希望这些步骤能帮助你开始学习HDFS。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值