Java操作Hadoop时出现的问题

Java操作Hadoop时出现的问题
1、

@Test
    public void wordCountPollyanna() throws Exception {
        final String ip = "192.168.47.132", inputPath = "/tmp/kb08/Pollyanna.txt", outputPath = "/tmp/poly";
        Configuration config = new Configuration();
        config.set("fs.defaultFS", MessageFormat.format("hdfs://{0}:9000", ip));
       
        FileSystem fs = FileSystem.get(config);

//        System.out.println(fs.exists(new Path(inputPath)));

//        System.out.println(fs.deleteOnExit(new Path(outputPath)));

        Job job = Job.getInstance(config, "pollywordcount");
        job.setMapperClass(WordMapper.class);

        //设置分区规则 可选 默认为HashPartitioner
        job.setPartitionerClass(WordPartitioner.class);

        //combiner传输,Reducer为落盘 可选 默认为空
        job.setCombinerClass(WordReducer.class);

        job.setReducerClass(WordReducer.class);
        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(IntWritable.class);

        //起2个任务
        job.setNumReduceTasks(2);
        //分区规则

        FileInputFormat.addInputPath(job, new Path(inputPath));
        FileOutputFormat.setOutputPath(job, new Path(outputPath));
        System.out.println(job.waitForCompletion(true));
    }

运行时爆出错误:PriviledgedActionException as:LCH (auth:SIMPLE) cause:0: No such file or directory
原因:可能是windows用户名为中文,将其改为英文;若原来就是英文,那么在config.set("fs.defaultFS", MessageFormat.format("hdfs://{0}:9000", ip));后面加一句 config.set("hadoop.tmp.dir","F:\\tool\\hadoop-260");。注意:需要在windows下安装hadoop,输入的路径为hadoop的路径。
2、
如若运行时出现以下问题
在这里插入图片描述
将hadoop-native解压到hadoop根目录下的lib/native/里。

如若不行,另寻他法

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
要使用Java连接Hadoop,你可以使用HadoopJava API来实现。首先,你需要在Java代码中引入Hadoop的相关依赖。根据引用所示,你需要在你的Maven项目中添加以下依赖: ```xml <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-common</artifactId> <version>3.3.2</version> </dependency> <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-hdfs</artifactId> <version>3.3.2</version> </dependency> ``` 接下来,你需要编写Java代码来连接Hadoop。根据引用所示,你可以使用HDFS工具类来打开HDFS中的文件,并将其内容输出到控制台。以下是一个示例代码: ```java import org.apache.hadoop.fs.FsUrlStreamHandlerFactory; import org.apache.hadoop.io.IOUtils; import java.io.IOException; import java.io.InputStream; import java.net.MalformedURLException; import java.net.URL; public class HadoopConnection { public static void main(String[] args) throws MalformedURLException, IOException { InputStream in = null; try { // 设置URL流处理工厂 URL.setURLStreamHandlerFactory(new FsUrlStreamHandlerFactory()); // 打开HDFS中的文件 in = new URL("hdfs://106.13.58.73:9000/in/text1.txt").openStream(); // 将文件内容输出到控制台 IOUtils.copyBytes(in, System.out, 4096, false); } finally { // 关闭流 IOUtils.closeStream(in); } } } ``` 这个示例中,我们使用了Hadoop的`URL`类来打开HDFS中指定文件的输入流,并使用`IOUtils`类将输入流的内容复制到标准输出流中。你可以根据自己的需要修改代码来连接Hadoop并执行相应的操作。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* [idea连接Hadoop以及通过JavaHadoop中的文件数据写入数据库中](https://blog.csdn.net/weixin_46946002/article/details/115222511)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"] - *2* *3* [使用Java连接Hadoop进行编程](https://blog.csdn.net/wr456wr/article/details/125363436)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值