![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
文章平均质量分 79
世界而世界
这个作者很懒,什么都没留下…
展开
-
【Hadoop】hive 简述及安装
Hadoop hive 简述及安装 一、官网说明 官网 wiki文档-Confluence Getting Started Home The Apache Hive™ data warehouse software facilitates reading, writing, and managing large datasets residing in distributed storage and queried using SQL syntax. hive是一款软件,支持在大数据分布式原创 2020-12-15 00:45:31 · 434 阅读 · 0 评论 -
【Hadoop】GC 一次 Hadoop MR GC 蛮神奇的
GC 一次 Hadoop MR GC 蛮神奇的 1 说明 发现在资源有限的情况下,还是蛮容易接触到很多的问题,蛮有意思的。 这次主要是搭建了hadoop小环境,测试用,给的资源极少。 1台机器 2C4G 2 GC 异常 Java heap space 堆溢出,发生在 map 阶段 这种一般发生在 Xmx 不够的情况下,yang区或者old区都塞不下新创建的对象了 后来打了 GC 日志 最后发生了好几次 Full GC 但是堆里面没啥东西,才 2% ps:写文章的时候才发现都是 Alloca原创 2020-12-09 23:28:30 · 472 阅读 · 0 评论 -
【Hadoop】Yarn 使用 FairSchedule 提交 mr 任务
Hadoop Yarn 使用 FairSchedule 提交 mr 任务 1 默认调度说明 打开 yarn 的 UI 界面 (默认是http://localhost:8088/cluster/nodes) 在 Scheduler 中查看情况,默认是 Capacity Scheduler 2 Fair Scheduler 配置修改 官方配置说明 etc/hadoop/yarn-site.xml <!-- Scheduler Config --> <!-- Yarn 使用 Fa原创 2020-12-09 23:25:40 · 268 阅读 · 0 评论 -
【Hadoop】Yarn Scheduler 调度器简述
Hadoop Yarn Scheduler 调度器简述 一、综述 调度器职能 调度程序负责将资源分配给正在运行的程序,遵循约束(容量、队列等) 纯调度,不进行监控、跟踪 不能保证重启失败的任务(程序故障、硬件故障) 会基于应用程序的资源需求进行调度 抽象了容器的概念 Container 原文 it does so based on the abstract notion of a resource Container which incorporates elements such as memor原创 2020-12-08 00:30:31 · 209 阅读 · 1 评论 -
【Hadoop】MR maptask 工作流程
Hadoop-MR maptask 工作流程 RM 整体流程 读取数据 k1,v1 数据映射 k2,v2 数据分区 分区内排序 分区内数据合并 数据分组发送(shuffle) 数据reduce 数据输出保存 maptask部分 1个切片对应1个maptask 一般是1个block对应1个切片 读取对应切片的数据 k1,v1 进行数据映射 k2,v2 映射完的数据写入环形缓冲区,同时计算分区键。 环形缓存区写满80%后,会将数据写入到临时文件,同时进行排序、合并。排序规则先按分区号,后按key。 数据都原创 2020-12-06 23:25:56 · 792 阅读 · 0 评论 -
【大数据】Hadoop3集群搭建
Hadoop3集群搭建 一、准备 官方文档-Setting up a Single Node Cluster 官网下载 可以下载源码,下载后需要构建一下 # 科学上网下载比较快,可以自己电脑下好了在上传到服务器 wget https://downloads.apache.org/hadoop/common/hadoop-3.3.0/hadoop-3.3.0-src.tar.gz # 解压文件 tar -zxvf hadoop-3.3.0-src.tar.gz # maven构建 也可以直接下载安原创 2020-12-06 21:05:12 · 226 阅读 · 0 评论