七、Hadoop简明笔记

最新推荐文章于 2023-06-10 08:21:17 发布
最新推荐文章于 2023-06-10 08:21:17 发布
阅读量1k 收藏 10
点赞数 1
文章标签： 队列 lamp scipy crm lighttpd
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Norni/article/details/120480806
版权
目录

1、Hadoop入门

1.1 Hadoop优势

  • 高可靠性

    Hadoop底层维护多个数据副本，即使Hadoop某个计算元素或存储出现故障，也不会导致数据丢失

  • 高扩展性

    在集群间分配任务数据，可方便的扩展数以千计的节点

  • 高效性

    在MapReduce的思想下，Hadoop是并行工作的，以加快任务处理速度

  • 高容错性

    能够自动将失败的任务重新分配

1.2 Hadoop1.x、Hadoop2.x、Hadoop3.x的区别

  • 在Hadoop1.x时代，Hadoop中的MapReduce同时处理业务逻辑运算和资源的调度，耦合性较大
  • 在Hadoop2.x时代，增加了Yarn。此时Yarn只负责资源的调度，MapReduce只负责运算
  • 在Hadoop3.x时代，其组成与Hadoop2.x没有变化，功能上进行了优化

1.3 HDFS架构概述

Hadoop Distributed File System，简称HDFS，是一个分布式文件系统

  • 角色

    • NameNode(简称 nn)

      存储文件的元数据：如文件名，文件目录结构，文件属性(生成时间、副本数、文件权限)，以及每个文件 的块列表和块所在的DataNode等

    • DataNode(简称 dn)

      在本地文件系统存储文件块数据，以及块数据的校验和

    • Secondary NameNode(简称 2nn)

      每隔一段时间对NameNode元数据备份

1.4 YARN架构概述

Yet Another Resource Negotiator，简称YARN，是一种资源协调者，是Hadoop的资源管理器

  • 角色
    • ResourceManager(RM)：整个集群资源(内存、CPU等)的调度者
    • NodeManager(NM)：单个节点服务器资源的调度者
    • ApplicationMaster(AM)：单个任务运行的调度者
    • Container：容器，里面封装了任务运行所需要的资源(内存、CPU、磁盘、网络等)
  • 说明
    • 客户端可以有多个
    • 集群上可以运行多个ApplicationMaster
    • 每个NodeManager上可以有多个Container

1.5 MapReduce架构概述

MapReduce将计算过程分为两个阶段：Map和Reduce

  • Map阶段并行处理输入数据
  • Reduce阶段对Map结果进行汇总

1.6 HDFS、YARN、MapReduce三者关系

  1. 客户端发送任务请求
  2. YARN接受到请求，开启一个Container1(包含一个ApplicationMaster1)，该Container1向YARN请求资源
  3. Container1获取到资源后，开始MapReduce中的Map阶段，开启一个Container(包含一个ApplicationMaster2，即MapTask)
  4. 在Map阶段，ApplicationMaster2与HDFS进行交互
  5. HDFS按NameNode的元数据信息检索，将DataNode中存储的数据返回给ApplicationMaster2
  6. Container1收到MapTask完成的信息后，开启一个Container(包含一个ApplicationMaster3，即ReduceTask)，ApplicationMaster3汇总ApplicationMaster2返回的数据
  7. ApplicationMaster3汇总完数据后，通知HDFS完成数据的存储
  8. 任务结束，释放资源

1.7 大数据技术生态体系

1.8 环境准备

1.9 Hadoop运行模式

  • 本地模式

    单机运行，只是用来演示一下官方案例

  • 伪分布式模式

    单机运行，但是具备了Hadoop集群的所有功能，一台服务器模拟一个分布式的环境

  • 完全分布式模式

    多台服务器组成分布式环境

1.10 Hadoop本地模式运行：官方WordCount案例

  1. 创建wcinput文件夹

    mkdir -p ~/learnstation/wcinput

  2. 在wcinput文件夹下创建一个word.txt文件并输入以下内容

    vim word.txt

hadoop yarn
hadoop mapreduce
test
test

  3. 执行程序

    hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount ~/learnstation/wcinput ~/learnstation/wcoutput

  4. 查看结果

    cat ~/learnstation/wcoutput/part-r-00000

2、搭建Hadoop集群

2.1 集群部署规划

pc001(192.168.117.101) pc002(192.168.117.102) pc003((192.168.117.101))
HDFS NameNode
DataNode
DataNode		 SecondaryNameNode
DataNode
YARN
NodeManager		 ResoureManager
NodeManager
NodeManager

  • 注意点

    1. NameNode和SecondaryNameNode很消耗内存，不要安装在同一台服务器
    2. ResourceManager很消耗内存，不要和NameNode、SecondaryNameNode配置在同一台机器上

2.2 配置文件说明

Hadoop配置文件分为两类：默认配置文件和自定义配置文件。

  • 默认配置文件

    默认文件 文件存放在Hadoop的jar包中的位置
    [core-default.xml] $HADOOP_HOME/share/hadoop/common/hadoop-common-xxx.jar
    [hdfs-default.xml] $HADOOP_HOME/share/hadoop/hdfs/hadoop-hdfs-xxx.jar
    [yarn-default.xml] $HADOOP_HOME/share/hadoop/yarn/hadoop-yarn-common-xxx.jar
    [mapred-default-xml] $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-client-core-xxx.jar

  • 自定义配置文件

    core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml四个配置文件存放在$HADOOP_HOME/etc/hadoop路径下，用户想修改某一默认配置值时，可以修改自定义配置文件，更改相应属性值。

2.3 配置自定义文件

2.3.1 配置核心文件

  • 配置core-sit.xml

    cd $HADOOP_HOME/etc/hadoop
vim core-site.xml

  • 在标签configuration中添加以下内容

    <configuration>
    <!-- 指定NameNode的地址 HDFS内部的通信地址-->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://pc001:8082</value>
    </property>
    <!-- 指定Hadoop本地数据的存储地址-->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/software/hadoop-3.1.3/data</value>
    </property>
    <!-- 配置HDFS网页登录使用的静态用户 -->
    <property>
        <name>hadoop.http.staticuser.user</name>
        <value>nuochengze</value>
    </property>

</configuration>

  • 分发给其他服务器

    ~/bin/xsync.sh core-site.xml

2.3.2 配置HDFS文件

  • 配置hdfs-site.xml文件

    cd $HADOOP_HOME/etc/hadoop
vim hdfs-site.xml

  • 在标签configuration中添加以下内容

    <configuration>
    <!-- NameNode nn web端访问地址-->
    <property>
        <name>dfs.namenode.http-address</name>
        <value>pc001:9870</value>
    </property>
    <!-- SecondaryNameNode 2nn web端访问地址 -->
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>pc003:9868</value>
    </property>
</configuration>

  • 分发给其他服务器

2.3.3 配置YARN文件

  • 配置yarn-site.xml文件

    cd $HADOOP_HOME/etc/hadoop
vim yarn-site.xml

  • 在标签configuration中添加以下内容

    <configuration>

<!-- Site specific YARN configuration properties -->
    <!-- 指定MR走 shuffle-->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <!-- 指定 ResourceManager 的地址-->
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>pc002</value>
    </property>
    <!-- 环境变量的继承-->
    <property>
        <name>yarn.nodenamager.env-whitelist</name>
        <value>JAVA_HOEM,HADOOP_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
    </property>
</configuration>

  • 分发给其他服务器

2.3.4 配置MapReduce文件

  • 配置mapred-site.xml文件

    cd $HADOOP_HOME/etc/hadoop
vim mapred-site.xml

  • 在标签configuration中添加以下内容

    <configuration>
    <!-- 指定MapReduce 程序运行在Yarn上-->
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

  • 分发给其他服务器

2.4 群起集群

2.4.1 配置workers

  • 编辑workers文件

    cd $HADOOP_HOME/etc/hadoop
vim workers

  • 修改内容为如下

    pc001
pc002
pc003

    说明：workers文件中，添加的内容结尾不允许有空格，文件中不允许有空行

  • 分发给其他服务器

2.4.2 启动集群

注意！！！ 在root用户下启动集群时，会报”ERROR: Attempting to operate on hdfs namenode as root“

需要用非root用户启动

useradd nuochengze // 添加用户nuochengze
passwd nuochengze // 修改密码
配置 nuochengze 用户具有 root 权限，方便后期加 sudo 执行 root 权限的命令
1、vim /etc/sudoers
2、vim /etc/sudoers
...
## Allow root to run any commands anywhere
root ALL=(ALL) ALL
## Allows people in group wheel to run all commands
%wheel ALL=(ALL) ALL
nuochengze ALL=(ALL) NOPASSWD:ALL
...
3、注意：nuochengze 这一行不要直接放到 root 行下面，因为所有用户都属于 wheel 组，你先
配置了 nuochengze 具有免密功能，但是程序执行到%wheel 行时，该功能又被覆盖回需要
密码。所以 nuochengze 要放到%wheel 这行下面

  • 格式化namenode

    hdfs namenode -format

    说明：

    1. 如果集群第一次启动，需要在pc001节点格式化NameNode
    2. 格式化NameNode，会产生新的集群ID，导致NameNode和DataNode的集群ID不一致，集群找不到以往数据
    3. 如果集群在运行过程中报错，需要重新格式化NameNode的话，一定要先停止namenode和datanode进程，并且要删除所有机器的data和logs目录，然后再进行格式化

  • 在pc001上启动HDFS

    ./sbin/start-dfs.sh

    报错参考：https://www.cnblogs.com/nuochengze/p/14883150.html

  • 查看启动的active internet connections

    netstat -nltp

  • 在pc002(布置了ResoureceManager的节点)上启动yarn

    ./sbin/start-yarn.sh

  • web端查看HDFS的NameNode

    浏览器中输入：http://pc001:9870

  • web端查看YARN的ResourceManager

    浏览器中输入：http://pc002:8088

2.4.3 配置历史服务器

  • 作用

    查看程序的历史运行情况

  • 配置mapred-site.xml，添加以下内容

    <!-- 历史服务器地址-->
    <property>
        <name>mapreduce.jobhistory.address</name>
        <value>pc001:10020</value>
    </property>
    <!-- 历史服务器web端地址-->
    <property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>pc001:19888</value>
    </property>

  • 在pc001上面启动历史服务器

    mapred --daemon start historyserver

  • 查看JobHistory

    http://pc001:19888

2.4.4 配置日志的聚集

  • 作用

    应用运行完成后，将程序运行日志信息上传到HDFS系统上，方便开发调试

  • 配置yarn-site.xml，添加以下内容

    <!-- 开启日志聚集功能-->
<property>
	<name>yarn.log-aggregation-enable</name>
	<value>true</value>
</property>
<!-- 设置日志聚集服务器地址-->
<property>
	<name>yarn.log.server.url</name>
	<value>http://pc001:19888/jobhistory/logs</value>
</property>
<!-- 设置日志保留时间为7天-->
<property>
	<name>yarn.log-aggregation.retain-seconds</name>
	<value>604800</value>
</property>

  • 在pc001上面启动历史服务器

    mapred --daemon start historyserver

  • 查看日志

    http://pc001:19888/jobhistory/logs

2.4.5 集群启动/停止方式

  • 各个模块分开启动/停止

    start-dfs.sh/stop-dfs.sh  #HDFS的整体启停
start-yarn.sh/stop-yarn.sh #yarn的整体启停

  • 单个服务组件逐一启动/停止

    • HDFS组件

      hdfs --daemon start/stop namenode/datanode/secondarynamenode

    • YARN组件

      yarn --daemon start/stop resourcemanager/nodemanager

2.4.6 常用脚本

  • 启动集群

    # xhadoopop.sh
#! /bin/bash

if [ $# -lt 1 ]
    then
        echo "Tips:请输入参数"
        exit
fi

case $1 in
"start")
    echo "=================启动集群========================"
    echo "-----------------启动历史服务器-----------"
    ssh pc001 "mapred --daemon start historyserver"
    echo "-----------------启动HDFS-----------------"
    ssh pc001 "$HADOOP_HOME/sbin/start-dfs.sh"
    echo "-----------------启动YARN-----------------"
    ssh pc002 "$HADOOP_HOME/sbin/start-yarn.sh"
;;
"stop")
    echo "=================关闭集群========================"
    echo "-----------------关闭HDFS-----------------"
    ssh pc001 "$HADOOP_HOME/sbin/stop-dfs.sh"
    echo "-----------------关闭YARN-----------------"
    ssh pc002 "$HADOOP_HOME/sbin/stop-yarn.sh"
    echo "-----------------关闭历史服务器-----------"
    ssh pc001 "mapred --daemon stop historyserver"
;;
*)
    echo "Error:请输入正确的参数"
    echo "参数 start: 启动集群"
    echo "参数 stop : 关闭集群"
;;
esac

  • 文件分发

    # xsync.sh
#! /bin/bash

# 1.判断参数个数
if [ $# -lt 1 ]
    then
        echo 'Not Enougth Arugement!'
        exit;
fi

# 2.遍历集群所有机器
for host in  pc001 pc002 pc003
do
    echo "==================$host====================="
    # 3.遍历指定的目录
    for file in $@
    do
        # 4.判断指定文件是否存在
        if [ -e $file ]
            then
                # 4.1 获取父目录
                pdir=$(cd -P $(dirname $file);pwd)
                # 4.2 获取文件名称
                fname=$(basename $file)
                # 4.3 对目标host创建对应的目录
                ssh $host "mkdir -p $pdir"
                # rsync同步文件
                rsync -av $pdir/$fname $host:$pdir/$fname
            else
                echo "The file $file is not exists!"
        fi
    done
done

  • jps集群监控

    # xjpsall.sh
#! /bin/bash

for host in pc001 pc002 pc003
do
    echo "============$host=============="
    ssh $host "jps"
done

2.5 配置文件整体一览

2.5.1 core-site.xml

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!--
  Licensed under the Apache License, Version 2.0 (the "License");
  you may not use this file except in compliance with the License.
  You may obtain a copy o
最低0.47元/天 解锁文章
Norni
关注
Hadoop知识点总结！！！
super-yong的博客
10-10 1208
没什么好解释的，纯粹的干货分享。。。 Hadoop：     1.Hadoop的四大模块:         1.common:基础模块，用于支撑其他模块         2.mapruedce：分布式计算框架         3.YARN：分布式资源调度框架         4.HDFS：分布式文件系统              2.端口：         1.HDFS：8082 webUI端口...
[知网]hadoop集群需要开通的端口号
胖胖的博客
07-19 1503
hadoop集群需要开通的端口号
进击大数据系列（二）：Hadoop 安装（HDFS+YARN+MapReduce）实战操作
最新发布
民工哥的博客
06-10 1389
点击下方名片，设为星标！回复“1024”获取2TB学习资源！前面介绍了 Hadoop 基本概念与生态 相关的知识点，今天我将详细的为大家介绍 大数据 Hadoop 安装（HDFS+YARN+MapReduce）实战操作 相关知识，希望大家能够从中收获多多！如有帮助，请点在看、转发支持一波！！！安装 Hadoop（HDFS+YARN）环境准备这里准备三台VM虚拟机下载最新的Hadoop安装包下载地址...
hadoop2.8.2分布式集群实战
drhrht的博客
08-16 236
本文档搭建三台hadoop的集群，其中一台为Master，两台为Slaves。Master上的进程：NameNode，SecondaryNameNode，ResourceManager。Slaves上的进程：DataNode，NodeManager。
hadoop http://192.168.20.114:50070 无法访问
Freewind的技术专栏
10-30 4万+
hadoop http://192.168.20.114:50070 无法访问
hadoop学习笔记整理(二)
qq_56920349的博客
12-13 1690
安装mysql 下载mysql(linux)安装包 将其上传到linux 将其解压到/opt/moudule tar -xf 解压文件 -C 解压到的位置 安装对应的rpm文件（（1）删除原来的mysql （2） 测验虚拟机能否上网（ping www.baidu.com）（3）获取插件yum install – y libaio（4）依次执行命令:按顺序执行 删除指定文件 var/lib/mysql rm -rf * 初始化mysql: ...
Hadoop学习笔记二 - kNN算法实现用户风险分类
gloria_dandan的博客
11-14 1329
在银行这个极其庞杂的交易体系中，每天都能收集到大量的用户信息和用户数据。而伴随着我国利率市场化的不断深化，净利差的迅速收窄，各大银行都希望利用手头的大量用户信息和实时产生的用户数据，对用户进行深度分析挖掘以便进行风险管控和个性化营销，降低银行的运营成本，提升获利空间。本文利用机器学习算法中最简单的kNN算法，也称k-近邻算法，在Hadoop中实现用户的风险等级的分类，以便向用户推荐符合其风险承受能力的产品和实现风险管
一、HBase简明笔记
Norni的博客
10-17 1311
目录1、HBase概述1.1 Hbase定义1.2 HBase数据模型1.3 HBase基础架构2、HBase安装部署3、HBase shell操作3.1 基本操作3.2 表的操作4、HBase进阶4.1 架构原理4.2 写流程4.3 MemStore Flush4.4 读流程3.5 StoreFIle Compaction3.6 Region Split5、HBaseAPI5.1 DDL5.2...
一、Flume简明笔记
Norni的博客
10-21 366
目录一、Flume概述1.1 Flume定义1.2 Flume基础机构二、Flume快速入门2.1 安装部署2.2 入门案例2.2.1 监控端口数据官方案例：netcat-flume-logger.conf2.2.2 实时监控单个追加文件案例：exec-flume-hdfs.conf2.2.3 实时监控目录下多个新文件：spooldir-flume-hdfs.conf2.2.4 实时监控目录下...
一、Spark简明笔记
Norni的博客
12-12 1028
目录1、Spark概述2、Spark体验2.1 Maven项目相关配置2.2 Spark运行环境2.2.1 Local模式2.2.2 Standalone模式2.2.3 Yarn模式2.3 部署模式的比较2.4 常用端口号3、Spark核心编程3.1 RDD3.1.1 RDD的定义3.1.2 RDD的核心属性3.1.3 基础编程3.1.3.1 RDD创建3.1.3.2 RDD并行度与分区3.1....
hadoop http://192.168.1.106:50070 无法访问
qq_27263265的专栏
02-25 6609
http://192.168.1.106:50070  是hdfs 的管理界面 http://192.168.1.106:8088 是yarn 的管理界面 可能原因是   192.168.1.106的防火墙 没有关闭 查看防火墙的状态： service iptables status 关闭防火墙：  service ip
node-exporter问题集
Yu的博客
11-19 2289
使用docker部署node-exporter报错failed to retrieve adjtimex stats: operation not permitted 部署命令 docker run -d --name node-exporter -v /proc:/host/proc -v /sys:/host/sys -v /:/rootfs quay.io/prometheus/node-exporter:v0.18.1 --path.procfs /host/proc --path.s...
hadoop-使用Windows的eclipse开发Hadoop
chunliangdu8082的博客
11-02 104
1、复制hadoop-eclipse-plugin-1.2.1.jar包到eclipse的plugin文件夹，版本最好跟安装的hadoop版本一致 2、配置hadoop路径，Windows->preference 这里的hadoop文件夹是虚拟机上linux安装的压缩包解压出来的...
记一次hadoop Connection refused: no further information排错
热门推荐
melody_sy博客
07-28 13万+
前言 music： 这两天在研究hadoop的hdfs，用本地java api远程调用hdfs时出现了连接被拒绝的问题，具体异常如下： Caused by: java.net.ConnectException: Connection refused: no further information at sun.nio.ch.SocketChannelImpl.checkConne...
hadoop 的配置文件的修改
taizhen/blog
10-16 1383
yarn_env.xml: 添加： export HADOOP_FREFIX=/home/ltz/Cloud/hadoop-2.6.0 export HADOOP_COMMON_HOME=${HADOOP_FREFIX} export HADOOP_HDFS_HOME=${HADOOP_FREFIX} export PATH=$PATH:$HADOOP_FREFIX/
jvm系列（3）java类加载机制
冯冬冬的博客
06-14 433
我们知道，我们写的java文件是不能直接运行的，我们可以在IDEA中右键文件名点击运行，这中间其实掺杂了一系列的复杂处理过程。这篇文章，我们只讨论我们的代码在运行之前的一个环节，叫做类的加载。按照我写文章的常规惯例，先给出这篇文章的大致结构； 首先，认识类加载机制， 然后，详细介绍类加载的过程。 最后，介绍了类加载器，还有双亲委派原则。 废话不多说，直接来看吧。 一、什么是类的加载 ​ 在介绍...
Hadoop使用学习笔记（1）
hashcon
07-18 2万+
Hadoop使用学习笔记1.Hadoop安装与基本概念Hadoop发行版本地址1.1环境配置需求本文是用的Hadoop版本是最新的2.7.2发行版。 本文分两个机器环境，分别是研发环境和测试环境：本地环境配置（配置较好，用于压测）： 操作系统： LSB Version: :base-4.0-amd64:base-4.0-noarch:core-4.0-amd64:core-4.0-noa
[hadoop] HDFS组成架构及其作用
朱同学的博客
09-25 3442
1)NameNode:就是Master,它是一个主管,管理者 1 管理HDFS的目录结构; 2 配置副本策略 3 管理数据块(Block)映射信息 4 处理客户端读写请求 2)DataNode:就是Slave,NameNode下达命令,DataNode执行实际的操作 1 存储实际的数据块 2 执行数据块的读/写操作. 3)Client:就是客户端 1 文件切分.文件上传HDFS的时候,Client...
Hadoop学习笔记：环境搭建和配置详解
"Hadoop学习笔记" Hadoop是一个基于Java的开源分布式计算框架，主要用于处理大数据。Hadoop的核心组件包括HDFS（Hadoop Distributed File System）和MapReduce。HDFS是一个分布式文件系统，用于存储大规模数据，而...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值