- 博客(2)
- 资源 (5)
- 收藏
- 关注
RSS订阅转载 Hive HQL优化
使用Hive可以高效而又快速地编写复杂的MapReduce查询逻辑。但是某些情况下，因为不熟悉数据特性，或没有遵循Hive的优化约定，Hive计算任务会变得非常低效，甚至无法得到结果。一个”好”的Hive程序仍然需要对Hive运行机制有深入的了解。有一些大家比较熟悉的优化约定包括：Join中需要将大表写在靠右的位置；尽量使用UDF而不是transfrom……诸如此类。下面讨论5个性能和逻辑相关
2013-12-02 14:40:27
1613
转载 Hive 随谈（二）– Hive 结构
Hive 体系结构Hive 的结构如图所示，主要分为以下几个部分：用户接口，包括 CLI，Client，WUI。元数据存储，通常是存储在关系数据库如 mysql, derby 中。解释器、编译器、优化器、执行器。Hadoop：用 HDFS 进行存储，利用 MapReduce 进行计算。用户接口主要有三个：CLI，Client 和 WUI。其中最常用的是 CLI，Cli
2013-12-02 10:51:55
967
nutch1.3在myclipse部署工程源码
nutch1.3在myclipse部署工程源码nutch1.3在myclipse部署工程源码nutch1.3在myclipse部署工程源码
2011-10-31
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人