在使用Impala处理大数据量查询时遇到错误，特别是涉及distinct操作。原因是Impala在进行大规模操作时会在'/tmp/impala-scratch'目录暂存中间数据。默认情况下，当操作结束时这些文件会被删除。为改变此目录位置，可以在启动impalad时指定--scratch_dirs选项或通过Cloudera Manager UI设置。若该目录所在文件系统自由空间不足1GB，Impala仍能运行但会记录警告。解决办法是在每个impalad节点上手动创建并授权访问'/tmp/impala-scratch'目录。
使用impala对大数据量查询distinct的时候出现如下错误
5ab149d_24414dab2c19caca:e54b206c5ab149f_91001337-9d70-4c93-84ce-e7916c1ae804 failed with errno=2 description=Error(2): No such file or directory
Backend 4:Create file /tmp/impala-scratch/24414dab2c19caca:e54b206c5ab149d_24414dab2c19caca:e54b206c5ab149f_91001337-9d70-4c93-84ce-e7916c1ae804 failed with errno=2 description=Error(2): No such file or directory
查阅文档发现impala在大数据量处理时会用到磁盘保存中间数据
By default, intermediate files used during large sort, join, aggregation, or analytic function operations are stored in the directory /tmp/impala-scratch
最低0.47元/天 解锁文章
1351
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
