hive
yaofangxugo
邮箱:1427573305@qq.com
展开
-
hive基础
近十年来,随着Hadoop生态系统的不断完善,Hadoop早已成为大数据事实上的行业标准之一。面对当今互联网产生的巨大的TB甚至PB级原始数据,利用基于Hadoop的数据仓库解决方案Hive早已是Hadoop的热点应用之一。达观数据团队长期致力于研究和积累Hadoop系统的技术和经验,并构建起了分布式存储、分析、挖掘以及应用的整套大数据处理平台。本文...转载 2018-03-23 13:23:09 · 674 阅读 · 0 评论 -
hive优化
hive的查询注意事项以及优化总结 .Hive是将符合SQL语法的字符串解析生成可以在Hadoop上执行的MapReduce的工具。使用Hive尽量按照分布式计算的一些特点来设计sql,和传统关系型数据库有区别,所以需要去掉原有关系型数据库下开发的一些固有思维。基本原则:1:尽量尽早地过滤数据,减少每个阶段的数据量,对于分区表要加分区,同时只选择需要使用到的字段select ... from Aj...转载 2018-04-12 14:40:09 · 123 阅读 · 0 评论 -
hive优化2
常用调优测试语句 : ①显示当前hive环境的参数值:set 参数名;如: hive> set mapred.map.tasks;mapred.map.tasks;②设置hive当前环境的参数值,但仅对本次连接有效set 参数名 = 值;如:hive> set mapred.map.tasks;mapred.map.tasks=2;hive job优化1、并行优化hive job的并...转载 2018-04-27 11:12:50 · 242 阅读 · 0 评论