- 博客(2)
- 收藏
- 关注
RSS订阅
原创 HDP 2.2 （ Hadoop 2.6 ） 集群的内存参数配置和参数调优 (Yarn/MapReduce2)
近期在根据集群上的各节点的物理机配置对集群的内存参数进行调整。 因此较系统的学习了一下hadoop里对资源调配的各组件的相关参数。 主要包含如何设置yarn中的参数， mapreduce2的参数， 在执行hive job时可以手工覆盖的参数。首先要理解， hadoop 中 yarn 作为资源管理器， 起到一个底层的控制调配运算资源的作用。 yarn中资源的最小单位是container。 一个container 可以认为是一个运行的jvm进程。一个yarn集群中，有一个ResourceM
2015-07-09 17:19:55
5817
原创 Hive做数据仓库，对Hadoop Hive 的多用户的资源分配和权限管理 （Hortonworks HDP2.2 hadoop 2.6）
我正在搭建一个基于Hadoop/hive的数据仓库方案。 使用的Hortonworks的HDP2.2 版本。 数据仓库主要的使用场景（use case） 是1. 从各数据源通过ETL 将数据汇集到hadoop 和hive中。 2. 在Hive中进行各种归集运算后，将数据结果导出到一个关系数据库中，并通过报表工具将数据展现给用户。 3. 支持数据分析师 直接登录到Hive客户端（Hu
2015-07-29 15:37:11
4627
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人