Hive
murphyZ
这个作者很懒,什么都没留下…
展开
-
Hive特性--Hive1.x版本基于MR编程框架(Hive2.x之后是基于内存的,不再基于MR)
hive任务转换为mapreduce: 转换过程描述: 1、通过客户端或者UI界面执行HQL语句给Driver 2、Driver会为查询操作创建一个Session Handler,并将查询操作传递给Compiler去创建Execute Plan 3、Compiler根据任务去MetaStore查询hive元数据信息 4、Compiler得到元数据信息,对task进行编译,将HQL转换为抽象语法树...原创 2019-03-07 14:35:39 · 502 阅读 · 0 评论 -
Hive文档
一、Hive产生背景 Apache Hive 数据仓库软件可以使用SQL方便地阅读、编写和管理分布在分布式存储中的大型数据集。结构可以投射到已经存储的数据上。提供了一个命令行工具和JDBC驱动程序来将用户连接到Hive。 由Facebook开源,最初用于解决海量结构化的日志数据统计问题 MapReduce编程的不便性 HDFS上的文件缺少Schema(字段名,字段类型等)。 二、hive的来源...原创 2019-03-07 22:36:04 · 888 阅读 · 0 评论 -
Hive性能优化
为了高效的使用Hive,需要对Hive进行性能优化。Hive常用性能优化方法如下 1、Hive的本地模式 需要处理的数据量不大,可以使用Hive的本地模式,该模式比Hadoop的集群模式运行速度要快,启用Hive本地模式的命令如下。 set hive.exec.mode.local.auto=true; //默认为false set hive.exec.mode.local.auto.inpu...原创 2019-03-12 19:05:11 · 410 阅读 · 0 评论