Hadoop遇见问题
文章平均质量分 91
Sandy在路上
其实我根本不懂编程,所有的代码都是脸滚键盘~
展开
-
Hadoop回收站trash
回收站简介在HDFS里,删除文件时,不会真正的删除,其实是放入回收站/trash回收站里的文件可以快速恢复。可以设置一个时间阈值,当回收站里文件的存放时间超过这个阈值或是回收站被清空时,文件才会被彻底删除,并且释放占用的数据块。一,开启Hadoop回收站功能Hadoop回收站trash,默认是关闭的。 打开方式:修改配置文件conf/core-site.xml,增加下面的内容:<...原创 2018-09-25 16:58:26 · 742 阅读 · 0 评论 -
HDFS权限问题
背景之前的工作中使用Hive一直都是用的内表,对于外表一直都没有正经研究过,最近偶尔使用了一次,就整出了不小的麻烦,而且发现是跟HDFS权限有关,然而就发现关于HDFS的权限问题理解的还是太少了,所以把问题整理一下。一,Hive外表加载HDFS文件错误场景是这样的:首先在Hive中新建一张外表DROP TABLE IF EXISTS quickstart;CREATE EXTERNAL ...原创 2018-09-30 11:25:12 · 5017 阅读 · 1 评论