hadoop配置及介绍

最新推荐文章于 2024-05-13 22:23:21 发布
最新推荐文章于 2024-05-13 22:23:21 发布
阅读量380 收藏
点赞数 1
分类专栏： 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_24852439/article/details/104115576
版权
1. hadoop的介绍Hadoop最早起源于Nutch。Nutch的设计目标是构建一个大型的全网搜索引擎，包括网页抓取、索引、查询等功能，但随着抓取网页数量的增加，遇到了严重的可扩展性问题——如何解决数十亿网页的存储和索引问题。2003年、2004年谷歌发表的两篇论文为该问题提供了可行的解决方案：分布式文件系统（GFS），可用于处理海量网页的存储分布式计算框架MapReduce，...
摘要由CSDN通过智能技术生成

文章目录

1. hadoop的介绍

Hadoop最早起源于Nutch。Nutch的设计目标是构建一个大型的全网搜索引擎，包括网页抓取、索引、查询等功能，但随着抓取网页数量的增加，遇到了严重的可扩展性问题——如何解决数十亿网页的存储和索引问题。

2003年、2004年谷歌发表的两篇论文为该问题提供了可行的解决方案：

  • 分布式文件系统（GFS），可用于处理海量网页的存储

  • 分布式计算框架MapReduce，可用于处理海量网页的索引计算问题。

Nutch的开发人员完成了相应的开源实现hdfs和MapReduce，并从Nutch中剥离成为独立项目HADOOP，到2008年1月，HADOOP成为Apache顶级项目.

建议去看一下原文，Google有三篇分布式的论文，网上译文很多。

HDFS操作过程

  1. 将文件分块，分别存储到不同计算机中

在这里插入图片描述

  1. 设置一台计算机来管理和整合其他计算机

在这里插入图片描述

  1. 防止计算机宕机，每个分片数据会在多台中保存副本

在这里插入图片描述

MapReduce操作过程

  1. 将计算任务进行拆分

在这里插入图片描述

  1. 将各部分结果汇总
    在这里插入图片描述

狭义上的hadoop指的是HDFS(分布式文件系统)，MapReduce(分布式计算系统)和Yarn(分布式样集群资源管理 )，广义上指的是hadoop生态圈

在这里插入图片描述

apache所有软件的下载地址（包括各种历史版本）：

http://archive.apache.org/dist/

由于是开源版本，包更新较快但是稳定性不是太好。

2. hadoop架构模型

主要介绍2.x版本的架构模型，2.x一共有四种架构模型

第一种：NameNode与ResourceManager单节点架构模型

在这里插入图片描述

在这里插入图片描述

  • 文件系统核心模块：

NameNode：集群当中的主节点，主要用于管理集群当中的各种数据

secondaryNameNode：主要能用于hadoop当中元数据信息的辅助管理

DataNode：集群当中的从节点，主要用于存储集群当中的各种数据

  • 数据计算核心模块：

ResourceManager：接收用户的计算请求任务，并负责集群的资源分配

NodeManager：负责执行主节点APPmaster分配的任务

不能很好的解决单点故障问题

第二种：NameNode单节点与ResourceManager高可用架构模型

在这里插入图片描述

  • 文件系统核心模块：

NameNode：集群当中的主节点，主要用于管理集群当中的各种数据

secondaryNameNode：主要能用于hadoop当中元数据信息的辅助管理

DataNode：集群当中的从节点，主要用于存储集群当中的各种数据

  • 数据计算核心模块：

ResourceManager：接收用户的计算请求任务，并负责集群的资源分配，以及计算任务的划分，通过zookeeper实现ResourceManager的高可用

NodeManager：负责执行主节点ResourceManager分配的任务

ResourceManager有备份节点，一旦ZKFC(watch机制)检测到主节点宕机，备份节点马上替代主节点

第三种：NameNode高可用与ResourceManager单节点架构模型

在这里插入图片描述

  • 文件系统核心模块：

NameNode：集群当中的主节点，主要用于管理集群当中的各种数据，其中nameNode可以有两个，形成高可用状态

DataNode：集群当中的从节点，主要用于存储集群当中的各种数据

JournalNode：文件系统元数据信息管理，实现两个namenode之间的数据同步

  • 数据计算核心模块：

ResourceManager：接收用户的计算请求任务，并负责集群的资源分配，以及计算任务的划分

NodeManager：负责执行主节点ResourceManager分配的任务

第四种：NameNode与ResourceManager高可用架构模型

在这里插入图片描述

  • 文件系统核心模块：

NameNode：集群当中的主节点，主要用于管理集群当中的各种数据，一般都是使用两个，实现HA高可用

JournalNode：元数据信息管理进程，一般都是奇数个

DataNode：从节点，用于数据的存储

  • 数据计算核心模块：

ResourceManager：Yarn平台的主节点，主要用于接收各种任务，通过两个，构建成高可用

NodeManager：Yarn平台的从节点，主要用于处理ResourceManager分配的任务

3. Apache版本的hadoop重新编译

由于appache给出的hadoop的安装包没有提供带C程序访问的接口，所以我们在使用本地库（本地库可以用来做压缩，以及支持C程序等等）的时候就会出问题,需要对Hadoop源码包进行重新编译.

3.1：准备linux环境

准备一台linux环境，内存4G或以上，硬盘40G或以上，我这里使用的是Centos6.9 64位的操作系统（注意：一定要使用64位的操作系统）

3.2：虚拟机联网，关闭防火墙，关闭selinux

关闭防火墙命令：

service  iptables   stop
chkconfig   iptables  off

关闭selinux

vim /etc/selinux/config
在这里插入图片描述

3.3：安装jdk1.7

注意hadoop-2.7.5 这个版本的编译，只能使用jdk1.7，如果使用jdk1.8那么就会报错

查看centos6.9自带的openjdk

rpm -qa | grep java

在这里插入图片描述

将所有这些openjdk全部卸载掉

rpm -e java-1.6.0-openjdk-1.6.0.41-1.13.13.1.el6_8.x86_64 tzdata-java-2016j-1.el6.noarch java-1.7.0-openjdk-1.7.0.131-2.6.9.0.el6_8.x86_64

注意：这里一定不要使用jdk1.8，亲测jdk1.8会出现错误

将我们jdk的安装包上传到/export/softwares（我这里使用的是jdk1.7.0_71这个版本）

解压我们的jdk压缩包

统一两个路径

mkdir -p /export/servers
mkdir -p /export/softwares
cd /export/softwares
tar -zxvf jdk-7u71-linux-x64.tar.gz -C ../servers/

配置环境变量

vim /etc/profile

export JAVA_HOME=/export/servers/jdk1.7.0_71
export PATH=:$JAVA_HOME/bin:$PATH

在这里插入图片描述

让修改立即生效

source /etc/profile

3.4：安装maven

这里使用maven3.x以上的版本应该都可以，不建议使用太高的版本，强烈建议使用3.0.5的版本即可

将maven的安装包上传到/export/softwares

然后解压maven的安装包到/export/servers

cd /export/softwares/
tar -zxvf apache-maven-3.0.5-bin.tar.gz -C ../servers/

配置maven的环境变量

vim /etc/profile

export MAVEN_HOME=/export/servers/apache-maven-3.0.5
export MAVEN_OPTS="-Xms4096m -Xmx4096m"
export PATH=:$MAVEN_HOME/bin:$PATH

在这里插入图片描述

让修改立即生效

source /etc/profile

解压maven的仓库

tar -zxvf mvnrepository.tar.gz -C /export/servers/

修改maven的配置文件

cd  /export/servers/apache-maven-3.0.5/conf
vim settings.xml

指定我们本地仓库存放的路径

在这里插入图片描述

添加一个我们阿里云的镜像地址，会让我们下载jar包更快

 <mirror>
最低0.47元/天 解锁文章
冥更
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hadoop2.0配置文件介绍
01-20
下面将详细介绍几个核心的配置文件及其作用。 首先，`hadoop-env.sh`文件是Hadoop运行时的环境变量设置。在该文件中，最重要的环境变量是`JAVA_HOME`，它指向Java的安装路径。由于Hadoop执行时会创建一个独立的环境...
Hadoop集群各类参数配置详解
11-10 4931
Hadoop集群各类参数配置详解 1. 参数配置说明 core-site.xml参数配置详情 官方文档：http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/core-default.xml core-default.xml与core-site.xml的功能是一样的，如果在core-site.xml里没有配置的属性，则会自动会获取core-default.xml里的相同属性的值 属性 值 说明 fs
Hadoop集群环境配置及安装配置（详细过程包含安装包）
热门推荐
2202_75347029的博客
07-07 3万+
进入到网络配置文件中。快照，是对虚拟机的当前状态进行保存，在虚拟机出现问题无法解决，可以通过返回快照，使虚拟机返回到快照拍摄状态。4.配置jdk软连接 命令：ln -s /export/servers/jdk1.8.0_361 /export/servers/jdk。3.选择克隆对象，一共有两种方式，第一种是直接克隆虚拟机的当前状态，第二种是选取虚拟机的快照，克隆指定快照的虚拟机状态。构建软连接： ln -s /export/servers/jdk/bin/java /usr/bin/java。
2024年大数据最新Hadoop 完全分布式部署_hadoop分布式安装部署(1)，一名毕业三年的女程序媛面试头条经验
2401_84185182的博客
05-13 922
1.BOOTPROTO设置为static，表示IP为静态的。2.GATEWAY设置为上一步查询到的实际网关地址。3.IPADDR设置为网关所在的网段，这里查到的网段为10.90.100.0。
Hadoop完全分布式集群——Hadoop 配置
weixin_42264536的博客
05-02 8723
前面已完成VMware虚拟机安装与配置（参考前一篇Hadoop完全分布式集群——VMware虚拟机安装与配置_夏雨和阳阳的博客-CSDN博客），下面将进行Hadoop 配置。 一、slave1、slave2节点配置修改 slave1、slave2节点都需要进行以下操作： 1.开启虚拟机，输入命令： [root@slave1 ~]#ip addr [root@slave2 ~]#ip addr 2.修改slave1、slave2虚拟机的IP [root@slave1 ~]#vi /etc/s
Hadoop集群的配置
qq_54542910的博客
10-19 5377
Hadoop集群的配置，克隆机的配置，免密登录，启动集群等
Hadoop集群安装及配置
m0_61364659的博客
10-13 8396
hadoop集群搭建
hadoop配置文件夹
最新发布
05-15
首先，Hadoop的配置文件夹包含了运行Hadoop集群所必需的一系列配置文件。这些文件通常位于`$HADOOP_HOME/conf`目录下，其中`$HADOOP_HOME`是你安装Hadoop的路径。主要的配置文件包括： 1. **core-site.xml**：这是...
docker配置hadoop
09-28
001
hadoop配置
04-15
hadoop环境配置，重要组件hdfs、yarn，mapreduce，实际操作整理
hadoop config 配置文件
11-09
Hadoop配置文件是这个系统的核心组成部分，它们定义了Hadoop集群的行为、性能和稳定性。在这个主题中，我们将深入探讨Hadoop配置文件的各个方面，以及如何有效地管理和优化它们。 1. **Hadoop配置结构** Hadoop的...
hadoop——环境配置
ply2003的博客
06-26 1878
之前上课的时候我就已经用VMware Workstation 15 player创过了一台虚拟机并做了Hadoop的伪分布式安装，所以就不再从头演示，直接在这基础上接着讲了。
从零开始Hadoop安装和配置，图文手把手教你，定位错误（已部署成功）
小唐同学超级呆的博客
10-06 3万+
写了近一万字，所有的步骤基本都有图，Vmware、centos、jdk、Hadoop以及需要用到的工具里面全有。小唐初学Hadoop学了一个月，也配置了一个月，基本上所有可以踩的坑和不可以踩的都遇到了，当自己配置完成之后，又去重新配置了一遍，已经实现了
Hadoop集群环境配置搭建
肌肉金轮的博客
03-10 6056
Hadoop集群配置搭建
Hadoop集群配置（二）免密登录和集群配置
学而知之@的博客
05-20 1707
写在开头： 难难难道德玄，不对知音不可谈，对了知音谈几句，不对知音枉费舌尖~~ 咱们书接上回，上一篇写完了基础环境的配置，这篇就来说硕同样重要的免密登录，当然还有Hadoop集群的配置。 2.1 三台linux服务器环境准备 1. 三台机器IP设置 三台机器修改ip地址： # 对网库进行设置 vi /etc/sysconfig/network-scripts/ifcfg-ens33 # hadoop版本IP设置 BOOTPROTO="static" IPADDR=192.168.32.100 NETMA
Hadoop环境搭建
美国梦中国心
06-29 6585
Hadoop是一个由Apache基金会所创建的分布式系统基础架构，主要解决海量数据的存储和海量数据的分析计算问题，从广义上来说hadoop是数据存储分包器，可以存储大量的数据。
【大数据】Hadoop完全分布式配置（超详细）
X10的博客
01-03 4943
Hadoop完全分布式配置-具体步骤如下默认前提：1.在Windows平台下安装Vmware平台（默认已经安装）2.在Vmware平台上安装Linux操作系统（默认已经安装）这里我已安装的是 Vmware16 和 CentOS7.整理流程我参考的是centos6的文档，centos7的命令与其不同。如修改主机名、关闭防火墙等centos7无法连接Xshell的情况。
【云平台技术】Hadoop全分布式安装与配置
qq_51941741的博客
06-29 9607
目录 一、虚拟机安装 1、创建虚拟机 2、虚拟机启动初始化 二、 虚拟机克隆 三、Linux系统的网络配置 1、准备工作 2、 主机名和IP映射 2.1 配置主机名 2.2 配置IP映射 3、网络参数配置 四、SSH服务配置 1、生成密钥文件 2、将本机公钥文件复制到其他虚拟机上 五、JDK安装和Hadoop安装 1、准备安装包 2、下载安装软件Xshell 3、安装JDK（所有虚拟机都要操作） 3.1 传输文件 3.2 解压JDK 3.3 重命名JDK
Hadoop集群配置（最全面总结）
weixin_30748995的博客
02-06 5053
Hadoop集群配置（最全面总结）huangguisu 通常，集群里的一台机器被指定为NameNode，另一台不同的机器被指定为JobTracker。这些机器是masters。余下的机器即作为DataNode也作为TaskTracker。这些机器是slaves\ 官方地址：(http://hadoop.apache.org/common/docs/r0.19.2/c...
Hadoop 配置及hadoop HA 的配置
05-18
下面是 Hadoop 的配置和 Hadoop HA 的配置说明： 1. Hadoop 配置： Hadoop 的配置文件一般位于 $HADOOP_HOME/etc/hadoop 目录下，包括以下几个文件： - core-site.xml：配置 Hadoop 核心功能相关的参数，如 ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值