![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据学习
文章平均质量分 64
沐淼
自古人生最忌满,半贫半富半自安;半命半天半机遇,半取半舍半行善;半聋半哑半糊涂,半智半愚半圣贤;半人半我半自在,半醒半醉半神仙;半亲半爱半苦乐,半俗半禅半随缘;人生一半在于我,另外一半听自然
展开
-
hive 变量替换
变量替换默认是启动的 :hive.variable.substitute= true。如果这导致一个已经存在的脚本出现问题,使用 下列命令禁用:set hive.variable.substitute=false;原创 2017-09-24 22:06:23 · 1385 阅读 · 0 评论 -
hive - 外部表与管理表
外部表:create external table if not exists stocks{exchange STRING,}ROW FORMAT DELIMITED FIELDS TERMINATED BY ","LOCATION '/local/stocks'关键字external 告诉hive 这个表示外部的,而后面的LOCATION ..原创 2017-11-14 17:18:32 · 579 阅读 · 0 评论 -
java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.
问题出现的原因是hadoop目录bin文件下缺少 winutils.exe 文件;查看源码:public static final String getQualifiedBinPath(String executable) throws IOException { String fullExeName = HADOOP_HOME_DIR + File.separator + "bi原创 2017-11-19 11:28:43 · 1829 阅读 · 0 评论 -
hive常用优化
1、join连接时的优化:当三个或多个以上的表进行join操作时,如果每个on使用相同的字段连接时只会产生一个mapreduce。2、join连接时的优化:当多个表进行查询时,从左到右表的大小顺序应该是从小到大。原因:hive在对每行记录操作时会把其他表先缓存起来,直到扫描最后的表进行计算3、在where字句中增加分区过滤器。4、当可以使用left semi join 语法原创 2017-11-22 14:33:32 · 317 阅读 · 0 评论 -
hadoop配置(一)
hadoop配置原创 2017-12-04 22:40:57 · 496 阅读 · 0 评论