如何用Java代码打印Hadoop中DataNode中的数据？

最新推荐文章于 2024-04-11 21:04:32 发布

1_2_3_4_5_上山打老虎

最新推荐文章于 2024-04-11 21:04:32 发布

阅读量159

点赞数

分类专栏： java 程序员笔记文章标签： java hive hbase

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/weixin_53953440/article/details/125146873

版权

这篇博客介绍了如何在Java环境中，通过IDEA远程访问和在Linux本地执行Java脚本来打印Hadoop DataNode中的数据。文章详细讲解了在Windows环境下解决winutils.exe缺失的问题，以及在Linux环境下执行Java程序时的jar包导入方法。

摘要由CSDN通过智能技术生成

1. 使用idea远程访问

我们先创建一个Maven工程，导入以下依赖（注意要和自己的hadoop版本对应，我的是2版本）：

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

<dependency>

<groupId>org.apache.hive</groupId>

<artifactId>hive-jdbc</artifactId>

<version>2.1.1</version>

</dependency>

<dependency>

<groupId>org.apache.hbase</groupId>

<artifactId>hbase-it</artifactId>

<version>1.2.6</version>

</dependency>

<dependency>

<groupId>org.apache.hadoop</groupId>

<artifactId>hadoop-client</artifactId>

<version>2.7.3</version>

</dependency>

<dependency>

<groupId>org.apache.hadoop</groupId>

<artifactId>hadoop-common</artifactId>

<version>2.7.3</version>

</dependency>

接着编写代码：

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

package com.fx.demo;

import org.apache.hadoop.conf.Configuration;

import org.apache.hadoop.fs.FSDataInputStream;

import org.apache.hadoop.fs.FileStatus;

import org.apache.hadoop.fs.FileSystem;

import org.apache.hadoop.fs.Path;

import java.io.BufferedReader;

import java.io.InputStreamReader;

import java.net.URI;

import java.util.Arrays;

/**

* @author: eureka

* @date: 2022/4/27 12:06

* @Description: idea连接hadoop demo

*/

public class demo {

public static void main(String[] args) throws Exception {

System.setProperty("HADOOP_USER_NAME"

最低0.47元/天解锁文章

1_2_3_4_5_上山打老虎

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。