- 博客(3)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 hive常用优化
1、join连接时的优化：当三个或多个以上的表进行join操作时，如果每个on使用相同的字段连接时只会产生一个mapreduce。2、join连接时的优化：当多个表进行查询时，从左到右表的大小顺序应该是从小到大。原因：hive在对每行记录操作时会把其他表先缓存起来，直到扫描最后的表进行计算3、在where字句中增加分区过滤器。4、当可以使用left semi join 语法
2017-11-22 14:33:32
312
原创 java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.
问题出现的原因是hadoop目录bin文件下缺少 winutils.exe 文件；查看源码：public static final String getQualifiedBinPath(String executable) throws IOException { String fullExeName = HADOOP_HOME_DIR + File.separator + "bi
2017-11-19 11:28:43
1805
原创 hive - 外部表与管理表
外部表：create external table if not exists stocks{exchange STRING，}ROW FORMAT DELIMITED FIELDS TERMINATED BY ","LOCATION '/local/stocks'关键字external 告诉hive 这个表示外部的，而后面的LOCATION ..
2017-11-14 17:18:32
572
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人