- 博客(6)
- 收藏
- 关注
RSS订阅转载 yarn调度器 FairScheduler 与 CapacityScheduler
yarn FairScheduler 与 CapacitySchedulerCapacityScheduler(根据计算能力调度)CapacityScheduler 允许多个组织共享整个集群, 每个组织可以获得集群的一部分计算能力。通过为每个组织分配专门的队列, 然后再为每个队列分配一定的集群支援, 这样整个集群就可以通过设置多个队列的方式给多个组织提供服务。此外, 队列内部又可以...
2019-09-25 21:37:00
236
转载 Hive性能优化
Hive优化的四种方式一、整体架构优化整体架构优化点:根据不同业务需求进行日期分区, 并执行类型动态分区。hive.exec.dynamic.partition=true为了减少磁盘存储空间以及I/O次数, 对数据进行压缩(Gzip)mapreduce.output.fileoutputformat.compress=truemapreduce.output.fi...
2019-09-25 20:04:00
113
转载 Hive 数据类型 + Hive sql
Hive 数据类型 + Hive sql基本类型整型int tinyint (byte) smallint(short) bigint(long)浮点型float double布尔boolean字符string char(定长) varchar(变长)时间类型timestamp date引用/复合类型优点类似于容器(Container)...
2019-09-23 20:16:00
342
转载 HBase笔记
HBaseHBase全称: Hadoop DataBaseHBase的思想来源于google的BigTable论文, 适合存放千万级别以上的数据Hbase完全依赖于HDFS, 用于存储数据Hbase基于列, 而不是基于行SELECT * FROM user WHERE id = 888;SELECT uname from user WHERE id = 888;适合存...
2019-09-19 23:33:00
111
转载 Zookeeper笔记
Zookeeper Note什么是 Zookeeper?Zookeeper是一个开源的分布式应用程序协调系统, 是Google的Chubby的一个开源实现(两者有所不同), 他是集群的管理者, 监视着集群中各个节点的状态(源码中有使用Observer[观察者]模式), 并根据节点提交的反馈进行下一步合理操作。最后, zookeeper将简单易用的接口和性能高效, 功能稳定的系统提...
2019-09-18 21:14:00
86
转载 Hadoop组件详解（随缘摸虾）
1.1. Hadoop组成：Hadoop = hdfs(存储) + mapreduce(计算) + yarn(资源协调) + common(工具包) + ozone(对象存储) +submarine(机器学习库)hadoop生态圈:1.2. 分布式存储系统HDFS (Hadoop Distributed File System)概括: 它是一个分布式存储系统, 提供高可靠性(...
2019-09-15 18:56:00
415
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人