Hadoop day08 （Yarn）

姚circle

已于 2022-11-28 20:14:02 修改

阅读量350

点赞数

分类专栏： hadoop 文章标签： hadoop 大数据分布式

于 2022-11-28 19:51:29 首次发布

本文链接：https://blog.csdn.net/qq_53822083/article/details/128074287

版权

hadoop 专栏收录该内容

7 篇文章 0 订阅

订阅专栏

Hadoop框架包括下述三个个模块
- HDFS：Hadoop集群中最根本的文件系统（数据存储）
  
  一个HDFS集群是由一个NameNode和若干个DataNode组成的
  - NameNode作为主服务器，管理文件系统命名空间和客户端对文件的访问操作。
  - DataNode管理存储的数据，HDFS支持文件形式的数据。
    DataNode负责管理节点上它们拥有的存储，它将存储划分为多个block块，管理block块信息，同时周期性的将其所有的block块信息发送给NameNode。
- MapReduce：为能够在集群上分布式处理海量数据而量身订做的框架
  
  MapReduce job可以分为三次连续过程。
  - Map 将输入数据划分为key-value集合
  - Shuffle 将Map产生的结果传输给Reduce
  - Reduce 则对接收到的key-value进一步处理
- YARN：为应用执行分配计算资源的一个框架
  
  YARN主要包含下面三个核心组件
  - ResourceManager（一个集群只有一个）
  - ApplicationMaster（每个应用都有一个）
  - NodeManagers （每个节点都有一个）
1.Yarn
- 1.Yarn架构
  - 1.resourcemanger ：负责资源的分配
  - 2.nodemanager ：负责资源的供给与隔离
- Yarn
  - 1.资源调度
    resourcemanger将nodemanager上资源分配给task
  - 2.资源隔离
    nodemanager按照要求给task提供资源，保证供给的资源有独占性
  - 资源
    - nodemanager指挥分配的资源
      - container:（一定比例的cpu和mem)
        cpu
        mem
- 2.yarn的架构设计
  - 1. mr作业运行·如何申请资源去运行作业?
    - 1.client =》 rmapps发送请求·去运行·jar·(appmaster)
    - 2.apps 分配一个container·去运行appmaster.
    - 3.app master向apps manager ·去注册，(yarn-web·可以看到iob·运行情况)
    - 4.app master 向 resouce scheduler-申请资源运行我的代码
    - 5-6.nodemanager会开启资源container去运行map task reduce task
    - 7.task 会向 app-master 汇报代码的运行情况
    - 8.当运行完成之后appmaster 会给 apps manager 通知我的作业运行完成了请求释放资源
    - 9.apps manager 收到请求之后通知客户端你的代码运行完成了
    - 补充
      - input ：map task个数·=》·container.申请的个数
      - reduce ：educe task·=》·container.由请的个数
  - 2.调度器
    - 1.FIFO scheduler
      先进先出单队列
    - 2.Capacity scheduler （容量调度器）
      多队列、每个队列之间互不影响先进先出
    - 3.Fair scheduler （公平调度器）
      多队列、·每个队列之间 job 有影响不是先进先出
      job的优先级
  - 3.默认调度器:
    Capacity scheduler.容量调度器
    yarn.resourcemanager.scheduler.class.=》 CapacityScheduler
3.调优
- yarn调优
  - 1.container
    - 一定比例的mem和cpu
  - 2.针对集群中每个节点对container进行配置
- 刀片服务器配置 128G 16物理core
  - 1.刀片服务器装完系统消耗1G
  - 2.系统预留20%内存
    - 1.给未来部署组件预留内存空间
    - 2.防止全部使用会导致系统夯住 oom机制【liniux系统】
  - 3.目前位置大数据服务资源 102G
    - hadoop
      - Datanode 进程内存2G
      - nodemanager 进程内存4G
        
        102G - 2G - 4G = 96G =>yarn资源 container一共96G
    - container资源分配
      - 内存
      - cpu【core】
    - 1. container内存
      - 总
        yarn.nodemanager.resource.memory-mb 96G 【默认值是8G】
      - 最小
        yarn.scheduler.minimum-allocation-mb 1g 极限情况下会有96个container
      - 最大
        yarn.scheduler.maximum-allocation-mb 96G 极限情况下会有1个container
      - 注意：container内存会自动增加默认1G增加
    - 2. contaner cpu
      - 虚拟核 vcore ：设计初衷考虑不同节点的cpu的性能不一样
      - 例如：某个物理cpu是另外一个物理cpu的2G
        第一机器:强悍 pcore: vcore=1: 2 （1core·当成2core使用)
        第二机器:不强悍 pcore: vcore=1: 1
        
        16个物理核: 16vcore
        虚拟核和物理核的比例：
        yarn.nodemanager.resource.pcores-vcores-multiplier 2
        
                   yarn core =》 vcore 16*2 = 32 vcore
        
        总：
                   yarn.nodemanager.resource.cpu-vcores 32 【默认是8vcore】
        
        最小：
                   yarn.scheduler.minimum-allocation-vcores 1 极限情况下只有32个container
        
        最大：
                   yarn.scheduler.maximum-allocation-vcores 32 极限情况下只有1个container
        
        实际开发角度：
        
        1.mem 为主
        
        2.cpu ：
               cloudera 公司推荐一个contaier 的vcore 最大值最好不要超过5 4
        
        理想情况下：标准 cloudera 公司
        
        cpu角度：
               16个物理核： 16vcore
        
        虚拟核和物理核的比例：
                   yarn.nodemanager.resource.pcores-vcores-multiplier 2
        
                   yarn core =》 vcore 16*2 = 32 vcore
        
        总：
                   yarn.nodemanager.resource.cpu-vcores 32 【默认是8vcore】
        
        最小：
                   yarn.scheduler.minimum-allocation-vcores 1 极限情况下只有32个container
        
        最大：
                   yarn.scheduler.maximum-allocation-vcores 4 极限情况下只有8个container
        
        反推内存：
          vcore 4 container 8个
        
        总：
                   yarn.nodemanager.resource.memory-mb 96G 【默认值是8G】
        
        最小：
                   yarn.scheduler.minimum-allocation-mb 1G 极限情况下会有96个container
        
        最大：
                   yarn.scheduler.maximum-allocation-mb 12G 极限情况下会有8个container
        
        注意：
                   container内存会自动增加默认1g递增
        
        container:
        
        1. 8-32 个container => task 8-32个
        
        2.以内存为主
        
        总：
               yarn.nodemanager.resource.memory-mb 96G 【默认值是8G】
        
        最小：
                 yarn.scheduler.minimum-allocation-mb 2G
        
        最大：
        yarn.scheduler.maximum-allocation-mb 20G
        
           20G => container ? 5个container
           2g => container ? 48个container
        
        4G 2core
        
        1.内存
        
        总：
                   yarn.nodemanager.resource.memory-mb 4G 【默认值是8G】
        
        最小：
                   yarn.scheduler.minimum-allocation-mb 1g 极限情况下会有96个container
        
        最大：
                   yarn.scheduler.maximum-allocation-mb 2G 极限情况下会有8个container
        
        2.cpu 2
        
        虚拟核和物理核的比例：
                   yarn.nodemanager.resource.pcores-vcores-multiplier 2
        
        总：
                   yarn.nodemanager.resource.cpu-vcores 4 【默认是8vcore】
        
        最小：
                   yarn.scheduler.minimum-allocation-vcores 1 极限情况下只有32个container
        
        最大：
                   yarn.scheduler.maximum-allocation-vcores 2 极限情况下只有8个container
    - 修改配置内存
      修改 yarn-site.xml:
      路径：/home/hadoop/app/hadoop/etc/hadoop
    - ```
    [hadoop@bigdata13 hadoop]$ vim yarn-site.xml
    
    #内存：
    <property>
            <name>yarn.nodemanager.resource.memory-mb</name>
            <value>4096</value>
    </property>
    <property>
            <name>yarn.scheduler.minimum-allocation-mb</name>
            <value>1024</value>
    </property>
    <property>
            <name>yarn.scheduler.maximum-allocation-mb</name>
            <value>2048</value>
    </property>
    
    #cpu： 
    <property>
            <name>yarn.nodemanager.resource.pcores-vcores-multiplier</name>
            <value>2</value>
    </property>
    <property>
            <name>yarn.nodemanager.resource.cpu-vcores</name>
            <value>4</value>
    </property>
    <property>
            <name>yarn.scheduler.minimum-allocation-vcores</name>
            <value>1</value>
    </property>
    <property>
            <name>yarn.scheduler.maximum-allocation-vcores</name>
            <value>2</value>
    </property>
    
    同步到其他：[hadoop@bigdata13 hadoop]$ xsync yarn-site.xml
```
- mapreduce:
  - 1.map task reduce task 默认申请的container：cpu mem 分别是多少？
  - 2.map task:
    
    1.mem
    
    mapreduce.map.memory.mb 默认是1024
    
    一个map task 申请的内存资源是 1024M
    
    如果map task 实际使用的资源量超过该值 task将会被强制杀死
    
    2.cpu
               mapreduce.map.cpu.vcores 默认是1
    
    3.reduce task ：
    
    1.mem
               mapreduce.reduce.memory.mb 默认是1024
    
    2.cpu
               mapreduce.reduce.memory.mb 默认是1

了解：
mr：进程级别 job =》进程 maptasks、 redue tasks =》 jvm
   map task ：
       mapreduce.map.java.opts jvm相关调优参数即可
   reduce task
       mapreduce.reduce.java.opts jvm相关调优参数即可
   jvm参数调优=》

1.提交mr作业时可以指定？当前job生效
   hadoop jar xxx.jar xxx参数指定job运行时资源的参数
2.集群环境里面可以配置：? 全局生效
   mapreude-site.xml
3.最常见的 code =》当前job生效
   code
   Configration

2.存储 hdfs (存储文件)
- 压缩：
  - 1.为什么要使用压缩？
    - 1.节省空间（1file hdfs 3个副本）
    - 2.节省时间:网络io 和磁盘io 会减少
      - mapreduce 过程中 map端输出采用压缩
        1.经过网络传输的数据量会变少【减少了网络io】
        2.磁盘上数据压缩后，读取到内存的数据量也会变少【减少磁盘io】
  - 2.使用场景？
    - 1.采用压缩,对机器的cpu要求比较高
    - 2.存储数据的空间不够
  - 3.凡事都有两面性？
    - 1.采用压缩
      空间和时间减少
    - 2.cpu 消耗 cpu利用率高 =》会导致整个mr作业处理数据时间会稍微长一些
  - 4.如何使用压缩？
    - 1.存储角度
      压缩普通文件
    - 2.计算角度 mr spark flink
      - 1.input mr 不用考虑切片会对压缩格式进行校验 =》源码里面
      - 2.map out 配置参数即可
      - 3.reduce out 配置参数即可
  - 5.常见的压缩格式
    - gzip
    - bzip2
    - LZO
    - Snappy
    - LZ4
    - 1.压缩比
      Bzip2 30% GZIP snappy、lzo 50%
      
      解压速度：
      snappy、lzo GZIP Bzip2
    - 2.压缩文件是否可以被切分？
      - 1.假设一个 5G文件不能被切分 split 意味着只能使用一个map task去处理
        map task 5G
      - 2.假设一个 5G文件能被切片 splits 10map task 去并行处理
        5*1024 /10 = 一个map task 处理的数据
      - 3. 能否被切分决定了你的一个map task处理的数据量有多少
    - 3.压缩后的文件是否支持分割？
      - gzip 不可分割
      - bzip2 可分割
      - lzo 带索引的可以分割 (默认是不支持分割的)
      - snappy 不可分割的
    - 4.mapreduce 每个阶段该如何采用这些算法？
      
      input =》 maps =》 reduce =》 output
      - input：
        Bzip2
        支持分割多个map task 进行出
      - map out：
        1. shuffle 过程要选择一个解压速度快的压缩格式
        2.snappy 、lzo
      - reduce out ：
        1.高的压缩比 + 支持分片 =》节省空间
        2.bzip2 、lzo带索引的
                       reduce out 数据作为下一个
                       map 的输入咋办？
                       建议使用bzip2【如果采用压缩的话】
  - 压缩配置
    - 1.mapreduce 压缩配置：
      - 1.配置压缩的codec
      - 2.map reduce 输出配置：
        1.先打开压缩的开关
        2.配置codec 即可
    - 2.hadoop集群hdfs 支持哪些压缩？
      - 1.命令 hadoop checknative
      - 2.core-site.xml:
        配置支持的压缩
        mapred-site.xml:
        io.compression.codecs
        
        1.先打开压缩的开关
        2.map reduce 输出压缩算法
    - 补充：
      原生 hadoop 默认不支持 lzo的压缩
    - bzip2\gzip snappy
    - ```
    <property>
            <name>io.compression.codecs</name>
            <value>org.apache.hadoop.io.compress.BZip2Codec,
    		org.apache.hadoop.io.compress.SnappyCodec,
    		org.apache.hadoop.io.compress.GzipCodec,
    		org.apache.hadoop.io.compress.DefaultCodec
    		</value>
    </property>
```
- mapred-site.xml:
  - 1.先打开压缩的开关
  - 2.map reduce 输出压缩算法
    reduce：开关 mapreduce.output.fileoutputformat.compress <property> <name>mapreduce.output.fileoutputformat.compress</name> <value>true</value> </property> mapreduce.output.fileoutputformat.compress.codec <property> <name>mapreduce.output.fileoutputformat.compress.codec</name> <value>org.apache.hadoop.io.compress.BZip2Codec</value> </property>
- 3.各个DN节点数据平衡
  
  eg：
         DN1 存储空间 90%
         DN2 存储空间 60%
         DN3 存储空间 80%
  
     如何做呢？
         sbin/start-balancer.sh
  
     parameters = Balancer.BalancerParameters
     [BalancingPolicy.Node, threshold = 10.0, max idle iteration = 5,
  
     数据平衡的默认阈值：threshold = 10.0
         每个节点的磁盘使用率 - 平均的磁盘使用率 <10%
  
  DN1 存储空间 90% -76% = 14% 说明这个节点数据多往别的节点迁移数据出
  DN2 存储空间 60% -76% = -12% 说明这个节点数据少别的节点迁移数据进
  DN3 存储空间 80% -76% = 4%    说明这个节点数据多往别的节点迁移数据
  
  avg=90 + 80 +60 /3 = 76%
  
  生产上从现在开始 start-balancer.sh -threshold 10 每天要定时做的
     放到业务低谷期去做数据平衡操作
  
         注意：不要在业务高峰期做
  
             1.数据平衡数据传输带宽有关
             调优参数：平衡的网络带宽 w
  
         dfs.datanode.balance.bandwidthPerSec 100m 【2.x 默认是10m】
  
         每个节点数据几十T 需要数据平衡的数据几十T 可以申请维护窗口时间：
  
         dfs.datanode.balance.bandwidthPerSec 临时调大 200M
         2T 100m =》20s
         2T 200M =》 10s
- 4.单个DN节点多块磁盘的数据平衡
  - 投产前规划：
    DN 机器 10块 2T 【不做raid】 =》 20T 副本的
  - 1.dn 配置多个磁盘
    
    <property> <name>dfs.datanode.data.dir</name> <value>/data01,/data02,/data03</value> </property>
  - 2.为什么要使用多块物理磁盘？
    
    1.存储
    
    2.因为多个磁盘的io也是叠加的
    每块磁盘磁盘io 每秒 100m
    三块磁盘 1s 能 300m文件内容
    一块磁盘 1s 100m
  - 3./data01,/data02,/data03
    
    做多个磁盘数据均衡
    dfs.disk.balancer.enabled true 【3.x有这个功能 cdh 2.x 也有】 apache 2.x 没有这个功能
    
    得通过命令去解决磁盘数据均衡？
    hdfs diskbalancer
    
    步骤
    hdfs diskbalancer -plan bigdata32 => 生成一个 bigdata32.plan.json 文件
    hdfs diskbalancer -execute bigdata32.plan.json =》执行disk 数据均衡计划文件
    dfs diskbalancer -query bigdata32
    
    生产上当你发现磁盘写入不均衡可以做一下【一般一个月半个月做一次即可】