java 版本文件导致 Job job = Job.getInstance(configuration); 报错

最新推荐文章于 2024-08-09 23:32:13 发布
最新推荐文章于 2024-08-09 23:32:13 发布
阅读量1.3w 收藏 1
点赞数 4
分类专栏： 大数据 BUG
记录平时的问题，完全是给自己看的，垃圾博客，浪费各位大佬时间...
本文链接：https://blog.csdn.net/qq_40794973/article/details/88850580
版权

Exception in thread "main" java.lang.ExceptionInInitializerError
    at org.apache.hadoop.util.StringUtils.<clinit>(StringUtils.java:80)
    at org.apache.hadoop.security.SecurityUtil.getAuthenticationMethod(SecurityUtil.java:611)
    at org.apache.hadoop.security.UserGroupInformation.initialize(UserGroupInformation.java:272)
    at org.apache.hadoop.security.UserGroupInformation.ensureInitialized(UserGroupInformation.java:260)
    at org.apache.hadoop.security.UserGroupInformation.loginUserFromSubject(UserGroupInformation.java:790)
    at org.apache.hadoop.security.UserGroupInformation.getLoginUser(UserGroupInformation.java:760)
    at org.apache.hadoop.security.UserGroupInformation.getCurrentUser(UserGroupInformation.java:633)
    at org.apache.hadoop.mapreduce.task.JobContextImpl.<init>(JobContextImpl.java:72)
    at org.apache.hadoop.mapreduce.Job.<init>(Job.java:142)
    at org.apache.hadoop.mapreduce.Job.getInstance(Job.java:185)
    at com.atguigu.mapreduce.join.driver.TableDriver.main(TableDriver.java:20)
Caused by: java.lang.StringIndexOutOfBoundsException: begin 0, end 3, length 2
    at java.base/java.lang.String.checkBoundsBeginEnd(String.java:3319)
    at java.base/java.lang.String.substring(String.java:1874)
    at org.apache.hadoop.util.Shell.<clinit>(Shell.java:51)
    ... 11 more

 原因

 

 

 

爪 哇
关注
专栏目录
【异常】FileNotFoundException: Could not locate Hadoop executable: E:\Hadoop\hadoop\bin\winutils.exe
本本本添哥
05-09 872
在win10操作系统上，运行Hadoop以及其相关依赖包（比如Hbase依赖包）时，会报 Could not Locate Hadoop executable:E:\Hadoop\hadoop\bin\winutils.exe 异常。
MapReduce原理（1）：Job从创建到提交到集群获取所需资源进行运行的过程 源码解析 + 图解
Yiie 的博客
09-05 1984
1、Job的创建 Job类中重载了3个getInstance(),这个方法是唯一暴露给外部的方法 Configuration conf = new Configuration(); conf.set("fs.defaultFS", "hdfs://192.168.116.117:8020/"); Job job = Job.getInstance(conf,"wordCount"); Job中g...
Hadoop报错：Could not locate Hadoop executable: XXX\\winutils.exe -see
REID丶Beginner的博客
09-16 840
完整错误 java.io.FileNotFoundException: Could not locate Hadoop executable: D:\Aic_DevelopmentTools\Database\hadoop\hadoop-3.1.4\bin\winutils.exe -see https://wiki.apache.org/hadoop/WindowsProblems at org.apache.hadoop.util.Shell.getQualifiedBinInner(Shell.
Java中常用工具类StringUtils的用法
最新发布
qq_55846232的博客
08-09 455
Java中常用工具类StringUtils的用法
解决Hadoop在本地(windows)操作报错：Could not locate executable null\bin\winutils.exe in the Hadoop binaries.
热门推荐
duyenson的博客
08-03 1万+
1、Hadoop错误信息：Failed to locate the winutils binary in the hadoop binary path. Could not locate executable null\bin\winutils.exe in the Hadoop binaries 2、原因：window本地无法获取hadoop的配置，报错是缺少winutils.exe程序。Hadoop都是运行在Linux系统下的，在windows下eclipse、Idea中运行mapreduce程序和操
【已解决】Could not locate executable E:\Hadoop\bin\winutils.exe in the Hadoop binaries.
Junnix的博客
04-09 4490
【已解决】Could not locate executable E:\Hadoop\bin\winutils.exe in the Hadoop binaries. 问题原因：在hadoop/bin目录下缺少了winutils.exe和hadoop.dll。 解决方法： 在官网下载所需版本的winutils.exe和hadoop.dll。 下载好后，将hadoop.dll拷贝进C://Windows//system32目录下 将winutils.exe和hadoop.dll拉近hadoop文件夹下的bi
public class TCAPP { public static void main(String[] args) throws IOException, ClassNotFoundException, InterruptedException { // 1.获取job Configuration conf=new Configuration(); Job job=Job.getInstance(conf); // 2.指定job使用的类
06-11
job.setJarByClass(TCAPP.class); // 3.指定map和reduce使用的类 job.setMapperClass(TCMapper.class); job.setReducerClass(TCReducer.class); // 4.指定map输出的类型 job.setMapOutputKeyClass(Text.class...
public class MarketShareDriver { public static void main(String[] args) throws Exception { Configuration conf = new Configuration(); Job job = Job.getInstance(conf); job.setJarByClass(MarketShareDriver.class); job.setMapperClass(MarketShareMapper.class); job.setReducerClass(MarketShareReducer.class); job.setMapOutputKeyClass(Text.class); job.setMapOutputValueClass(Text.class); job.setOutputKeyClass(Text.class); job.setOutputValueClass(Text.class); Path inPath = new Path("data/phone.txt"); FileInputFormat.setInputPaths(job,inPath); Path outPath = new Path("data/PhoneMarketShare"); FileSystem fs = outPath.getFileSystem(conf); if (fs.exists(outPath)){ fs.delete(outPath,true); } FileOutputFormat.setOutputPath(job,outPath); boolean b = job.waitForCompletion(true); System.exit(b ? 0 : 1); } } 这段代码怎么修改才能把数据也存到MySQL中
06-12
Job job = Job.getInstance(conf); job.setJarByClass(MarketShareDriver.class); job.setMapperClass(MarketShareMapper.class); job.setReducerClass(MarketShareReducer.class); job.setMapOutputKeyClass...
Configuration conf = new Configuration(); Job job = Job.getInstance(conf, "word count"); job.setJarByClass(WordCountDriver.class); job.setMapperClass(WordCountMapper.class); job.setCombinerClass(WordCountReducer.class); job.setReducerClass(WordCountReducer.class); job.setOutputKeyClass(Text.class); job.setOutputValueClass(IntWritable.class); FileInputFormat.addInputPath(job, new Path(args[0])); FileOutputFormat.setOutputPath(job, new Path(args[1])); System.exit(job.waitForCompletion(true) ? 0 : 1);
06-09
其中`job.setMapperClass(WordCountMapper.class)`指定了Map阶段使用的Mapper类，`job.setReducerClass(WordCountReducer.class)`指定了Reduce阶段使用的Reducer类，`FileInputFormat.addInputPath(job, new Path...
WordCount实例分析（三）
YKQCC的博客
10-14 370
完成map和reduce函数的重写后，下面将其整合起来。用来把map函数和reduce函数整合起来的组件叫做作业。即： 将1.txt的文本内容进行词频统计可以写一个Mapreduce的job。这个作业中包括map和reduce的处理。“map负责映射和分发，reduce负责聚合统计”。 map函数和reduce函数之间是串联的关系 Code： public static void main(String[] args) throws Exception { //设置配置文件 Co.
三步解决：Could not locate executable null\bin\winutils.exe in the Hadoop binaries.
01-07
自律成为习惯，优秀自然而然。 发现问题 分析：这种问题的出现主要是我们在window模式环境中开发的时候没有搭建Hadoop和Spark。 解决办法 第一步：找到你的搭建Hadoop配置bin的文件夹 我这里是用一个文件夹专门来放bin。 第二步：配置环境变量 建立一个变量名为HADOOP_HOME来配置bin的上一个文件夹。 然后将其配置到本地Path当中。 第三步：重新启动运行项目，问题就已经解决啦。 这是我在自学过程中遇到的问题，希望能够给别人带来帮助。谢谢。 作者：Leslie Cheung（自律者）
解决Could not locate executable null\bin\winutils.exe
07-26
在windows环境下的eclipse或者idea中编写spark应用时，有时为了验证程序功能需要以本地模式运行测试。常常会遇到如下的异常： java.io.Exception: Could not locate executable null\bin\winutils.exe in the Hadoop binarie 本文件可以解决此异常
【hadoop系列】-windows运行hadoop报没有找到winutils.exe
qq_22744093的博客
06-10 2547
通过查询https://cwiki.apache.org/confluence/display/HADOOP2/WindowsProblems 意思是： Hadoop需要Windows上的本地库才能正常工作——包括访问file:// filesystem，其中Hadoop使用一些Windows api来实现类似posix的文件访问权限。 这是在HADOOP.DLL和WINUTILS.EXE中实现的。 特别地，%HADOOP_HOME%\BIN\WINUTILS.EXE必须是可定位的。 否则，Hadoop或
解决Hadoop报错：Could not locate executable null\bin\winutils.exe in the Hadoop binaries.
zerelazzZ的博客
05-07 1327
解决Hadoop报错：Could not locate executable null\bin\winutils.exe in the Hadoop binaries.程序报错解决办法一解决办法二参考 程序报错 菜鸟记录学习Spark过程中的诸多坑，开始学习Spark时，按照教程运行Spark项目Local模式时IDEA出现Hadoop报错：Could not locate executable ...
调试到Job job = Job.getInstance(conf)时报错：java.lang.IIIegalStateException异常，无法评估 org.apache.hadoop.mapre
Y_Aryan的博客
11-17 199
调试出现报错：java.lang.IIIegalStateException异常，无法评估 org.apache.hadoop.mapreduce.Job.toString（）在本地创建MapReduce项目，调试的时候断点如果加在Driver类中，就会发现走到创建Job实例的时候。如果遇到这个问题，可以忽略它，这是一个非阻塞异常，即使有这个异常，程序仍然可以正常执行到最后。换句话说，即使运行这个项目没有任何问题，调试这个项目的时候也会报这个错。
解Windows系统下运行hadoop、spark程序出错Could not locate executablenull\bin\winutils.exe in the Hadoop binaries
无恋-zx的博客
08-08 3605
原 解Windows系统下运行hadoop、spark程序出错Could not locate executablenull\bin\winutils.exe in the Hadoop binaries 最近使用scala编写程序，在Windows系统下调试，对远程服务器上的hbase和hive中的表进行相应的操作，运行时报错Failed to locate the winutils bin...
【大数据开发-Hadoop】经典错误：Could not locate Hadoop executable: D:\hadooplinux\hadoop-2.9.2\bin\winutils.exe
weixin_43697439的博客
11-07 1886
从字面意思上看，就是找不到Hadoop可执行文件，而且错误末尾也明确说明：在本地安装的Hadoop的bin目录下，缺少一个叫winutils.exe的文件。在Hadoop的bin目录下，将一下两个文件粘贴进去，例如本人的路径为：D:\hadooplinux\hadoop-2.9.2\bin。
idea执行mapreduce报错 Could not locate Hadoop executable: C:\hadoop-3.1.1\bin\winutils.exe
anfuyi5792的博客
12-03 893
　　window执行mapreduce报错　　 Exception in thread "main" java.lang.RuntimeException: java.io.FileNotFoundException: Could not locate Hadoop executable: C:\hadoop-3.1.1\bin\winutils.exe -see https://...
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值