2016年05月_ShenLiang2025

05月 01月

原创 Yarn资源分配示例

Yarn资源分配示例1 简介此手册应用于yarn资源按照队列分配的情景。2 准备2.1 环境说明hadoop版本: hadoop-2.5.0-cdh5.3.33 配置3.1 配置说明1) Yarn-site.xml里配置yanr能用到的资源总数以及公平调度策略所在路径#在虚拟机关机情况下，选中后点击设置，在控制器SATA处点击右边的加号以创建虚拟硬盘。

2016-05-23 23:46:43 6783

原创 Sentry UDFWhiteList bug分析

Sentry UDFWhiteList bug分析1 简介此手册应用于row_number、unbase64、windowingtablefunction在开启sentry后不能执行的bug分析。2 准备2.1 环境说明Sentry版本: sentry-1.4.0-cdh5.3.3注:核对了最新版Sentry(sentry-1.5.1-cdh5.7.0)已无此问题.前同

2016-05-23 13:05:15 739

原创 Hive多字符列分割

Hive多字符分割列1 简介此手册应用于hive建表时指定列按照多字段分割的情景。2 准备2.1 环境说明hive版本: 1.1.0-cdh5.4.73 使用3.1 使用说明方法一)通过org.apache.hadoop.hive.contrib.serde2.RegexSerDe格式的serde。1) 建表语句#指定以^|~作为分隔符CRE

2016-05-23 09:33:04 5027 1

原创 Hortworks Hadoop 2.4.2安装、配置

Hortworks Hadoop 2.4.2安装、配置1简介此手册应用于virtualbox虚拟机硬盘紧张时添加额外硬盘时的情景。1.1 参考资料http://docs.hortonworks.com/HDPDocuments/Ambari-2.2.2.0/bk_Installing_HDP_AMB/bk_Installing_HDP_AMB-20160509.pdf

2016-05-23 02:17:13 7100

原创 Virtaulbox虚拟机添加磁盘

此手册应用于virtualbox虚拟机硬盘紧张时添加额外硬盘时的情景

2016-05-22 22:33:49 1179

原创 Sqoop1使用手册

Sqoop安装、使用手册1 Sqoop简介Sqoop是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递，可以将一个关系型数据库（例如： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。2 准备2.1 环境说明1 Sqoo

2016-05-17 17:05:21 7037

原创 Hbase权限控制

Hbase权限配置、使用手册1 Hbase权限控制简介Hbase的权限控制是通过AccessController Coprocessor协处理器框架实现的，可实现对用户的RWXCA的权限控制。2 配置配置hbase-site.xmlCM主页→点击hbase(进入Hbase主页)→点击配置1 点击左侧的Hbase服务范围启用Hbase权限控制，设置Hbase超级用户hba

2016-05-15 23:36:09 30681 3

原创 Hbase复制(Replication )

Hbase复制使用手册1 Hbase复制简介通过hbase的replication功能实现集群间的相互复制.2 环境这里hbase版本为hbase-0.98.6-cdh5.3.33 配置各个集群里配置hbase-site.xml里的复制功能:hbase.replicationtrue完整配置文件附录: hbase.

2016-05-15 23:27:27 18136 1

原创 HAWQ手动安装

HAWQ手动安装及使用手册1 HAWQ简介HAWQ 是 Pivotal 设计的一个大规模并行 SQL 分析处理引擎，支持事务处理。HAWQ 将复杂的查询分割成简单的任何，并分发到并行处理系统中的处理单元执行。包括查询规划器、动态管道、前沿互联和查询执行优化器等等。提供最高级别的性能和可伸缩性。HAWQ 基于 Hadoop 架构是GPon HDFS。2 准备2.1 环境说明

2016-05-15 23:14:42 8392 1

原创 Impala手动安装

Impala 安装1 准备1.1 新增Impala用户并加入sudo权限chmod u+w /etc/sudoersvi /etc/sudoersimpala ALL=(ALL) NOPASSWD: NOPASSWD: ALLchmodu-w /etc/sudoers1.2准备rpm安装文件和jar包1.2.1 见附件内的Hadoop5.0.1Impala1.3

2016-05-15 23:09:00 13572 4