MapReduce
陈沐
知识改变命运
展开
-
报错HiveException: MetaException( Permission denied:user=xxx,access=WRITE,inode=xxx)
今天编写代码的时候遇见了一个报错显示没有权限从集群上读取数据Permission denied:user=xxx,access=WRITE,inode=xxx问题解析如果hadoop没有启Kerberos或者从Kerberos获取的用户为null,那么将获取HADOOP_USER_NAME环境变量,并将它的值作为Hadoop执行用户。如果我们没有设置HADOOP_USER_NAME环境变量,那么程序将调用whoami来获取当前用户,并用groups来获取用户所在组。解决思路:配置window下原创 2021-11-16 18:01:01 · 5184 阅读 · 1 评论 -
WIN10下开发报错:Could not locate executable null\bin\winutils.exe in the Hadoop 详细解决方法
1.问题出现仔细观看是没找到winutils.exe2.问题解决第一种方法,我们找到源码292行,他是先从System.getProperty("hadoop.home.dir");这里获得信息,从他的注释信息看// first check the Dflag hadoop.home.dir with JVM scope首先检查的应该是java虚拟机里面的这个hadoop.home.dir,那我们就可以直接在程序开始执行出手动添加System.setProperty("hadoop.h原创 2021-11-05 17:42:15 · 726 阅读 · 0 评论 -
MapReduce 读取MySQL数据到文件
MapReduce 对mysql进行操作了解实现方式1.创建方法类实现DBWritable,Writable接口DBWritable接口中实现两个方法//DBWritable主要是实现对数据库读写操作 所以输出格式是PreparedStatement//PreparedStatement接口继承并扩展了Statement接口,用来执行动态的SQL语句,即包含参数的public void write(PreparedStatement stmt ) thorws SQLException{原创 2021-10-06 15:51:41 · 243 阅读 · 0 评论