Hadoop入门 分布式计算

最新推荐文章于 2024-03-04 09:59:28 发布
最新推荐文章于 2024-03-04 09:59:28 发布
阅读量619 收藏 13
点赞数
分类专栏： 大数据 文章标签： 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq794554587/article/details/120157930
版权
本文详细介绍了Hadoop大数据环境的搭建过程，包括HDFS和YARN架构，MapReduce工作原理，以及Hadoop的三种运行模式：本地模式、伪分布式模式和完全分布式模式。在完全分布式模式中，强调了集群配置、SSH无密登录和时间同步的重要性。此外，还提到了Hadoop源码编译可能出现的错误及其解决方案。
摘要由CSDN通过智能技术生成

大数据概论

1.x和2.x区别
在这里插入图片描述

HDFS架构概述

  1. NameNode(nn):相当于数据data目录
  2. DataNode(dn):具体的数据
  3. Secondary NameNode(2nn):次要的数据data目录,辅助nn

YARN架构

在这里插入图片描述

MapReduce架构概述

MapReduce将计算过程分为两个阶段：Map和Reduce，如图2-25所示
1）Map阶段并行处理输入数据 拆
2）Reduce阶段对Map结果进行汇总 合
在这里插入图片描述

大数据技术生态体系

在这里插入图片描述

推荐系统项目框架

在这里插入图片描述

Hadoop运行环境搭建（开发重点）

虚拟机环境准备

  1. 克隆虚拟机
  2. 修改克隆虚拟机的静态IP
  3. 修改主机名
  4. 关闭防火墙
  5. 创建atguigu用户
  6. 配置atguigu用户具有root权限（详见《尚硅谷大数据技术之Linux》）
    7．在/opt目录下创建文件夹
    （1）在/opt目录下创建module、software文件夹
    （2）修改module、software文件夹的所有者cd

安装JDK

安装Hadoop

Hadoop目录结构

[atguigu@hadoop101 hadoop-2.7.2]$ ll
总用量 52
drwxr-xr-x. 2 atguigu atguigu  4096 5月  22 2017 bin
drwxr-xr-x. 3 atguigu atguigu  4096 5月  22 2017 etc
drwxr-xr-x. 2 atguigu atguigu  4096 5月  22 2017 include
drwxr-xr-x. 3 atguigu atguigu  4096 5月  22 2017 lib
drwxr-xr-x. 2 atguigu atguigu  4096 5月  22 2017 libexec
-rw-r--r--. 1 atguigu atguigu 15429 5月  22 2017 LICENSE.txt
-rw-r--r--. 1 atguigu atguigu   101 5月  22 2017 NOTICE.txt
-rw-r--r--. 1 atguigu atguigu  1366 5月  22 2017 README.txt
drwxr-xr-x. 2 atguigu atguigu  4096 5月  22 2017 sbin
drwxr-xr-x. 4 atguigu atguigu  4096 5月  22 2017 share
重要目录

（1）bin目录：存放对Hadoop相关服务（HDFS,YARN）进行操作的脚本
（2）etc目录：Hadoop的配置文件目录，存放Hadoop的配置文件
（3）lib目录：存放Hadoop的本地库（对数据进行压缩解压缩功能）
（4）sbin目录：存放启动或停止Hadoop相关服务的脚本
（5）share目录：存放Hadoop的依赖jar包、文档、和官方案例

Hadoop运行模式

Hadoop运行模式包括：本地模式、伪分布式模式以及完全分布式模式。
Hadoop官方网站：http://hadoop.apache.org/

本地运行模式

官方Grep案例
执行share目录下的MapReduce程序

[atguigu@hadoop101 hadoop-2.7.2]$ bin/hadoop jar
share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar grep input output 'dfs[a-z.]+'

官方WordCount案例

[atguigu@hadoop101 hadoop-2.7.2]$ hadoop jar
 share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount wcinput wcoutput

伪分布式运行模式

启动HDFS并运行MapReduce程序

流程步骤:,

查看产生的Log日志
说明：在企业中遇到Bug时，经常根据日志提示信息去分析问题、解决Bug。当前目录：/opt/module/hadoop-2.7.2/logs

[atguigu@hadoop101 logs]$ ls
hadoop-atguigu-datanode-hadoop.atguigu.com.log
hadoop-atguigu-datanode-hadoop.atguigu.com.out
hadoop-atguigu-namenode-hadoop.atguigu.com.log
hadoop-atguigu-namenode-hadoop.atguigu.com.out
SecurityAuth-root.audit
[atguigu@hadoop101 logs]# cat hadoop-atguigu-datanode-hadoop101.log

（d）思考：为什么不能一直格式化

[atguigu@hadoop101 hadoop-2.7.2]$ cd data/tmp/dfs/name/current/
[atguigu@hadoop101 current]$ cat VERSION
clusterID=CID-f0330a58-36fa-4a2a-a65f-2688269b5837

[atguigu@hadoop101 hadoop-2.7.2]$ cd data/tmp/dfs/data/current/
clusterID=CID-f0330a58-36fa-4a2a-a65f-2688269b5837

NameNode，格式化NameNode，要注意什么？
注意：格式化NameNode，会产生新的集群id,导致NameNode和DataNode的集群id不一致，集群找不到已往数据。所以，格式NameNode时，一定要先删除data数据和log日志，然后再格式化NameNode

启动YARN并运行MapReduce程序

配置集群在YARN上运行MR

配置历史服务器

为了查看程序的历史运行情况，需要配置一下历史服务器。具体配置步骤如下：

  1. 配置mapred-site.xml

配置日志的聚集

日志聚集概念：应用运行完成以后，将程序运行日志信息上传到HDFS系统上。
日志聚集功能好处：可以方便的查看到程序运行详情，方便开发调试。
注意：开启日志聚集功能，需要重新启动NodeManager 、ResourceManager和HistoryManager。

配置文件说明

默认配置文件
自定义配置文件
只有用户想修改某一默认配置值时，才需要修改自定义配置文件，更改相应属性值。
自定义配置文件：
core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml四个配置文件存放在$HADOOP_HOME/etc/hadoop这个路径上，用户可以根据项目需求重新进行修改配置。

完全分布式运行模式（开发重点）

分析：
1）准备3台客户机（关闭防火墙、静态ip、主机名称）
2）安装JDK
3）配置环境变量
4）安装Hadoop
5）配置环境变量
6）配置集群
7）单点启动
8）配置ssh
9）群起并测试集群

虚拟机准备

编写集群分发脚本xsync

  1. scp（secure copy）安全拷贝
    scp定义：
    scp可以实现服务器与服务器之间的数据拷贝。（from server1 to server2）
    基本语法
    scp -r $pdir/$fname $user@hadoop$host:$pdir/$fname
    命令 递归 要拷贝的文件路径/名称 目的用户@主机:目的路径/名称

注意：拷贝过来的/opt/module目录，别忘了在hadoop102、hadoop103、hadoop104上修改所有文件的，所有者和所有者组。sudo chown atguigu:atguigu -R /opt/module

  1. rsync 远程同步工具
    rsync主要用于备份和镜像。具有速度快、避免复制相同内容和支持符号链接的优点。
    rsync和scp区别：用rsync做文件的复制要比scp的速度快，rsync只对差异文件做更新。scp是把所有文件都复制过去。
    基本语法
    rsync -rvl $pdir/$fname $user@hadoop$host:$pdir/$fname
    命令 选项参数 要拷贝的文件路径/名称 目的用户@主机:目的路径/名称
  2. xsync集群分发脚本
    （1）需求：循环复制文件到所有节点的相同目录下
    （2）需求分析：
    （a）rsync命令原始拷贝：
    rsync -rvl /opt/module root@hadoop103:/opt/
    （b）期望脚本：
    xsync要同步的文件名称
    （c）说明：在/home/atguigu/bin这个目录下存放的脚本，atguigu用户可以在系统任何地方直接执行。

注意：如果将xsync放到/home/atguigu/bin目录下仍然不能实现全局使用，可以将xsync移动到/usr/local/bin目录下。

集群配置

集群单点启动

SSH无密登录配置

在这里插入图片描述

群起集群

如果集群是第一次启动，需要格式化NameNode（注意格式化之前，一定要先停止上次启动的所有namenode和datanode进程，然后再删除data和log数据）

注意：NameNode和ResourceManger如果不是同一台机器，不能在NameNode上启动 YARN，应该在ResouceManager所在的机器上启动YARN。

集群启动/停止方式总结

集群时间同步

Hadoop编译源码（面试重点）

常见错误及解决方案

码农の春天
关注
专栏目录
Hadoop——分布式计算
weixin_50458070的博客
12-25 1406
MapReduce YARN
Hadoop进行分布式计算的入门资料
09-01
这篇入门资料将引导我们了解如何利用Hadoop进行分布式计算。 一、Hadoop概述 Hadoop的核心组件包括HDFS（Hadoop Distributed File System）和MapReduce。HDFS是一种分布式文件系统，能够存储大量数据并保证其高可用...
Hadoop--海量文件的分布式计算处理方案
happysofter的专栏
02-09 1279
作者：江南白衣，原文出处：http://www.blogjava.net/calvin/archive/2007/02/08/98688.html，转载请保留。     Hadoop 是Google MapReduce的一个Java实现。MapReduce是一种简化的分布式编程模式，让程序自动分布到一个由普通机器组成的超大集群上并发执行。就如同java程序员可以不考虑内存泄露一样， Map
分布式计算开源框架Hadoop介绍 作者：岑文初　来源：InfoQ 　
09-04 804
在SIP项目设计的过程中，对于它庞大的日志在开始时就考虑使用任务分解的多线程处理模式来分析统计，在我从前写的文章《Tiger Concurrent Practice --日志分析并行分解设计与实现》中有所提到。但是由于统计的内容暂时还是十分简单，所以就采用Memcache作为计数器，结合MySQL就完成了访问控制以及统计的工作。然而未来，对于海量日志分析的工作，还是需要有所准备。现在最火的技术词汇
Hadoop分布式计算
林世广
08-25 1052
1、Hadoop简介 Hadoop是一个能够对大量数据进行分布式处理的软件框架。 hadoop是分散存放，多份保存的，不是只存一份，存的是多份。 概括来说就是： 备份--多份 锁定--操作数据 2、Hadoop的框架最核心的设计HDFS和MapReduce HDFS为海量的数据提供了存储。 MapReduce为海量的数据提供了计算。 3、hadoop特征
用 Hadoop 进行分布式并行编程, 第 2 部分
☆飞鸿雪泥☆
02-11 652
Hadoop 是一个实现了 MapReduce 计算模型的开源分布式并行编程框架，借助于 Hadoop, 程序员可以轻松地编写分布式并行程序，将其运行于计算机集群上，完成海量数据的计算。在本文中，详细介绍了如何针对一个具体的并行计算任务，基于 Hadoop 编写程序，如何使用 IBM MapReduce Tools 在 Eclipse 环境中编译并运行 Hadoop 程序。前言在上一篇
Hadoop完全分布式 大数据 入门 学习
03-09
在大数据处理领域，Hadoop是一个不可或缺的开源框架，它提供了分布式存储和计算的能力，使得海量数据的处理变得可能。本文将深入探讨Hadoop完全分布式环境的搭建，这对于初学者掌握大数据处理技术至关重要。 首先，...
分布式计算开源框架Hadoop入门实践
xiaogugood的专栏
08-28 1952
原文地址：http://blog.csdn.net/cenwenchu79/article/details/2847529 Author :岑文初 Email: wenchu.cenwc@alibaba-inc.com msn: cenwenchu_79@hotmail.com blog: http://blog.csdn.net/cenwenchu79/   引 What
Hadoop分布式计算框架
花有重开日，人无再少年。
05-20 911
1. 认识MapReduce编程模型 2. MapReduce应用开发 3. MapReduce高级模型，掌握MapReduce开发常用的应用，如Join、二次排序、分区和WordCount
Hadoop 分布式计算系统（map-reduce）介绍
ithinking110的博客
05-09 2513
Hadoop 分布式计算系统（map-reduce）介绍hadoop组成什么是分布式计算hadoop 1.x 分布式计算总体架构hadoop 2.x 分布式计算总体架构分布式计算原理JAVA 代码实现 hadoop组成 hadoop 集群主要做了两件事： 分布式存储（hdfs） 和分布式计算(map-reduce)。本文主要对hadoop 分布式计算系统理解做一个记录 帮助以后快速记忆 。 什么是分布式计算 比如 统计非常大的一个文件 里面每个单词出现的次数 。 如果放到一个机器上运行需要解析很久 而
使用Linux 和Hadoop 进行分布式计算
03-21 154
使用Linux 和Hadoop 进行分布式计算 人们每天都依赖搜索引擎以从 Internet 的海量数据中找到特定的内容，但您曾经想过这些搜索是如何执行的吗？一种方法是 Apache 的 Hadoop，它是一个能够对海量数据进行分布式处理的软件框架。Hadoop 的一个应用是并行索引 Internet Web 页面。Hadoop 是一个受到 Yahoo!、Google 和 IBM 等公...
大数据技术之Hadoop-分布式计算和资源调度
最新发布
qq_33934592的博客
03-04 924
一、分布式计算概述。
HADOOP的部署及使用：二、Hadoop-MapReduce分布式计算模型
weixin_38441544的博客
08-02 788
一、MapReduce分布式计算模型  MapReduce分布式计算模型分为Map任务和Reduce任务两部分，为方便理解，将Map任务的输入标记为<k1,v1>,输出标记为<k2,v2>,Reduce任务的输出标记为<k3,v3> Map任务执行计划 (1) 读取HDFS文件，通过InputFromat将文件分割为inputSplit，将每一行解析为...
Hadoop(分布式计算开发框架)
长风破浪会有时
05-23 2348
Apache Hadoop项目为可靠的，可扩展的分布式计算开发开源软件。 Apache Hadoop软件库是一个框架，它允许使用简单的编程模型跨计算机群集分布式处理大型数据集。它旨在从单个服务器扩展到数千台机器，每台机器提供本地计算和存储。该库本身不是依靠硬件来提供高可用性，而是设计用于在应用层检测和处理故障，从而在一组计算机之上提供高可用性服务，每个计算机都可能出现故障。 该项目包括这些模块...
分布式计算（二）Hadoop原理
qq_35319215的博客
10-10 283
Hadoop MapReduce基于“分而治之”的思想，将计算任务抽象成map和reduce两个计算过程，可以简单理解为“分散运算—归并结果”的过程。 一个MapReduce程序首先会把输入数据分割成不相关的若干键/值对（key1/value1）集合，这些键/值对会由多个map任务来并行地处理。 MapReduce会对map的输出（一些中间键/值对key2/value2集合）按...
基于Hadoop架构的分布式计算和存储技术及其应用
weixin_34302561的博客
02-23 1277
在硬盘存储容量快速增加的同时，访问速度，即数据从硬盘读取的速度未能快速提高．1990年，一个普通的硬盘驱动器可以存储1 370 MB的数据并拥有4．4 MB／s的传输速度，只需5 min就可以读取整个磁盘的数据。20年后的今天，海量数据的出现使得使用1TB存储容量的磁盘驱动器已很正常，由于数据传输速度在100 MB／s左右，需要花2．5 h以上才能读取整个驱动器的数据．如果可...
分布式计算Hadoop简介
weixin_33937499的博客
12-21 127
Hadoop是什么：Hadoop是一个开发和运行处理大规模数据的软件平台，是Appach的一个用java语言实现开源软件框架，实现在大量计算机组成的集群中对海量数据进行分布式计算。 Hadoop是什么：Hadoop是一个开发和运行处理大规模数据的软件平台，是Appach的一个用java语言实现开源软件框架，实现在大量计算机组成的集群中对海量数据进行分布式计算。 Hadoop框架中最核心设...
为什么Hadoop将一定会是分布式计算的未来？
java开发指南博客 【转载】
04-12 142
前言： 很久没有写写博客了，之前主要是换工作，耽误了很多的时间，让人也变得懒散，不想花大时间来写东西。另外就是也确实没有什么自己都觉得有意思的东西拿来写 写，对一般的知识什么的，我比较倾向于往evernote上面记笔记。不过最近对于Hadoop看得比较多，对它的发展也比较关心，最近了解得越多，也就 越相信Hadoop的未来，这里写一篇文章与大家分享分享，为什么我相信Hadoop一定是分...
Hadoop入门：分布式计算框架实践与探索
"分布式计算开源框架Hadoop入门实践" 在深入理解Hadoop之前，我们首先需要了解分布式计算的基本概念。分布式计算是一种处理大规模数据的计算模式，它将一个大任务分解为许多小任务，分散到多台计算机上并行处理，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值