hive
流火星空
七月流火,浩瀚星空
展开
-
hadoop、hive常见问题及解决方式
1、hive查询卡死 现象:执行hive查询时,迟迟不能出现map-reduce任务进度 原因:空间不足导致,清理掉无用的文件,释放出空间即可。通常建议剩余空间为查询数据的两倍 2、hdfs使用空间超出实际占用空间 现象:通过hdfs dfs -du -h /命令查看到各个目录所占的空间 原因:因为删除操作,大量的垃圾文件堆积在/user/root/.Trash ,这个原创 2018-01-03 13:18:39 · 1437 阅读 · 1 评论 -
Mac下hadoop,hive, hbase,spark单机环境搭建
最近在用mac笔记本搭建hadoop+hive+spark的测试环境,中间遇到不少问题,所以,记录一下,希望以后不会再犯。也可供参考。 之前在linux虚机下从wget软件包开始搭建过一次环境,mac下则是使用brew来进行快速安装的。不得不说,用brew后方便很多。 一 hadoop安装: 大家可以参考https://www.cnblogs.com/davidgu/p/617919原创 2017-05-22 23:37:14 · 5241 阅读 · 0 评论 -
CentOS7下Hadoop2.9.2、Hive 2.3.6安装与实践
参考的安装文章地址:https://blog.csdn.net/pengjunlee/article/details/81607890 实际安装的版本为: hadoop 2.9.2, hive 2.3.6;操作系统:centos 3.10.0-957.1.3.el7.x86_64 但安装步骤与原文相同,可直接参考。 操作实录: 1、hive中建立数据库后,会在hdfs中出现对象的库名.db...原创 2019-09-24 23:57:43 · 846 阅读 · 0 评论