- 博客(5)
- 收藏
- 关注
转载 hive join
hive(0.9.0): 1.支持equality joins, outer joins, and left semi joins 2.只支持等值条件 3.支持多表join 原理 hive执行引擎会将HQL“翻译”成为map-reduce任务,如果多张表使用同一列做join则将被翻译成一个reduce,否则将被翻译成多个map-reduce任务。 eg: SELECT a.val
2013-09-26 11:07:07 509
转载 Hive优化
hive.optimize.cp=true:列裁剪 hive.optimize.prunner:分区裁剪 hive.limit.optimize.enable=true:优化LIMIT n语句 hive.limit.row.max.size=1000000: hive.limit.optimize.limit.file=10:最大文件数 1. 本地模式(小任务): 需要满足以下条件
2013-09-23 21:33:52 826
转载 hive partition
partition是hive提供的一种机制:用户通过指定一个或多个partition key,决定数据存放方式,进而优化数据的查询 一个表可以指定多个partition key,每个partition在hive中以文件夹的形式存在。 实例(static partition): 编辑文件:/home/work/data/test3.txt; /home/work/data/test4.tx
2013-09-23 21:30:38 765
原创 centos安装MYSQL
先 删除本地 # rpm -qa | grep mysql 删除老版本:rpm -e --nodeps mysql-libs-5.1.52-1.el6_0.1.x86_64 直接安装: rpm -ivh MySQL-server-5.6.13-1.el6.x86_64.rpm --replacefiles rpm -ivh MySQL-client-5.6
2013-09-09 15:35:02 517
转载 大数据时代的技术hive:hive介绍
大数据时代的技术hive:hive介绍 我最近研究了hive的相关技术,有点心得,这里和大家分享下。 首先我们要知道hive到底是做什么的。下面这几段文字很好的描述了hive的特性: 1.hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供完整的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。其优点是
2013-09-08 21:08:23 1101
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人