Hive
HelloWord!
IT大数据
展开
-
Hive介绍
1.什么是Hive hive:由Facebook开源用于解决海量结构化日志的数据统计工具。 hive 是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张表,并提供类SQL查询功能 本质是将HQL转化成MapReduce程序 特点:(1)Hive处理的数据存储在HDFS (2)Hive分析数据的底层实现是MapReduce (3)执行程序运行在Yarn上 Hive的...原创 2021-11-16 18:14:55 · 889 阅读 · 0 评论 -
Hive的调优策略
1.Featch抓取,某些情况可以不用MapReduce计算 2.开启Hive的本地模式,小数据在本地处理即可 3.开启Hive的并行执行 4.Hive的严格模式 (1)分区表,只用where过滤分区字段 (2)order by,必须使用limit (3)限制笛卡尔积的查询 5.JVM的重用,同一个job重新使用N次 6.开启Hive的推测执行 7.数据压缩(gzip,lzo,snappy,bzip2) 8.表的优化 (1...原创 2021-11-16 17:04:18 · 909 阅读 · 0 评论