![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
wyl9527
将平时的工作进行一下总结。。。。
展开
-
hdfs某台服务器datanode服务占用cpu过高
1、问题描述 查看一下6834的进程是hadoop的datanode服务,可以看到cpu负载过高。2、解决方法(1) 关闭大页内存:echo never > /sys/kernel/mm/redhat_transparent_hugepage/defrag && echo never > /sys/kernel/mm/redhat_transparent_hugepage/enabled原创 2017-08-28 17:09:47 · 2412 阅读 · 0 评论 -
hadoop集群部署--开启聚合日志
1 机器规划 服务器 角色 wyl01 NameNode , DataNode,NodeManager wyl02 DataNode ,NodeManager ,ResourceManager wyl03 DataNode ,NodeManager ,SecondaryNameNode 2 准备工作 获取hadoop-2.9.2二进制文件 wyl01机器免密钥到其他...原创 2019-05-12 23:38:32 · 737 阅读 · 0 评论 -
hadoop集群HDFS集群之自动故障转移
1 自动故障转移原理 前面学习了使用命令hdfs haadmin -failover手动进行故障转移,在该模式下,即使现役NameNode已经失效,系统也不会自动从现役NameNode转移到待机NameNode,防止脑裂问题 下面学习如何配置部署HA自动进行故障转移。自动故障转移为HDFS部署增加了两个新组件:ZooKeeper和ZKFailoverController(ZKFC)进程。 如上图...原创 2017-11-26 05:07:24 · 665 阅读 · 0 评论 -
Hadoop的HDFS集群高可用之手动故障转移
1 概述 所谓HA(High Available),即高可用(7*24小时不中断服务)。 实现高可用最关键的策略是消除单点故障。HA严格来说应该分成各个组件的HA机制:HDFS的HA和YARN的HA。 Hadoop2.0之前,在HDFS集群中NameNode存在单点故障(SPOF)。 NameNode主要在以下两个方面影响HDFS集群 NameNode机器发生意外,如宕机,集群将...原创 2017-11-26 05:07:42 · 457 阅读 · 0 评论 -
yarn资源调度---capacity Scheduler和 Fair Scheduler
1 调度器(Resource Scheduler) 1 FIFO Scheduler 按照作业提交顺序放到先进先出的队列中执行 2 Capacity Scheduler(apache版本默认) apache版本默认使用的 将不同作业放到不同队列中,每个队列按照FIFO或DRF进行分配资源 3 Fair Scheduler(cdh版本默认) CDH版本默认使用的 动态划分或指定多个队...原创 2017-11-26 05:07:53 · 550 阅读 · 0 评论 -
hdfs 原理和指令
1 hdfs原理 1.1 三大组件 NameNode、DataNode、SecondaryNameNode 1.2 NameNode 作用:存储元数据(文件名、创建时间、大小、权限、文件与block块映射关系) 数据存储目录:dfs.namenode.name.dir 1.3 DataNode 作用:存储真实的数据信息 数据存储目录:dfs.datanode.data.dir block块:...原创 2017-11-26 05:08:08 · 222 阅读 · 0 评论 -
spark的分布式部署
目录 1.spark是什么? 2.spark的原理 3. spark的分布式部署 3.1 机器信息 3.2 安装前准备工作 3.2.1 jdk的安装 3.2.2python的安装 3.2.3 scala的安装 3.3 Spark的安装 3.3.1 获取安装包 3.3.2 解压,配置环境变量 3.3.3 修改配置文件,分发到其他机器 3.3.4 启动服务 3.3....原创 2019-05-24 17:16:36 · 2369 阅读 · 0 评论