2020年09月_Reeves li

09月 08月

原创 hadoop调度规则

目录什么是调度规则先进先出调度（FIFO）容器调度（Capacity）公平调度（Fair）配置参数Capacity SchedulerFair Scheduler什么是调度规则什么是调度规则，在了解它之前我们需要先知道调度规则其在整个hadoop架构中所处的位置。然后带着以下两个疑问进行探索。为什么会存在调度规则？调度规则有哪些，其区别又是什么？我们都知道原生hadoop的整个架构大致可以分为hdfs、yarn和mapreduce等。而其中yarn负责资源的分配、管理、调度等功能。是的，你已经

2020-09-28 14:06:25 727

原创 hadoop压缩

目录一、为什么使用压缩二、hadoop中的压缩格式三、配置参数3.1、core-site.xml3.2、mapred-site.xml一、为什么使用压缩与我们系统中的压缩概念相似，通过压缩技术，不仅可以降低文件在磁盘中的占用空间，还可以降低在I/O操作过程中消耗的网络带宽和资源，从而提升文件传输效率。因此，我们可以总结出使用压缩有两个好处，也是主要用来优化的两个方向：降低最后持久化到磁盘的文件容量占比，节省空间。降低在hadoop分布式中经常发生的文件交换传输带宽占比，提升传输效率。而在ha

2020-09-28 09:52:33 230

原创 hive简介

hive相关参数说明：https://www.cnblogs.com/duanxingxing/p/4535842.html目录hive概要介绍特点部署方式hive的架构总体架构内嵌模式本地模式远程模式补充说明须知关于Metadata和Metastorehive的配置文件非内嵌模式下Metastore的配置hive server2的配置hive概要介绍hive是由facebook开源用于解决海量结构化日志的数据统计；是基于hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类sq

2020-09-24 10:57:10 373

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人