hadoop-HDFS操作-安装IDEA-java实现

最新推荐文章于 2024-05-14 20:14:35 发布
最新推荐文章于 2024-05-14 20:14:35 发布
阅读量1.7k 收藏 7
点赞数 2
分类专栏： hadoop 文章标签： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43924621/article/details/116561411
版权

熟悉常用的HDFS操作

1.在本地Linux文件系统的“/home/hadoop/”目录下创建一个文件txt，里面可以随意输入一些单词.
2.在本地查看文件位置（ls）
3.在本地显示文件内容

cd /home/hadoop
ls
touch test.txt
vim test.txt 
cat test.txt

4.使用命令把本地文件系统中的“txt”上传到HDFS中的当前用户目录的input目录下。
5.查看hdfs中的文件(-ls)
6.显示hdfs中该的文件内容

cd /usr/local/hadoop
./sbin/start-all.sh #启动服务
./bin/hdfs dfs -put /home/hadoop/test.txt input #上传文件
./bin/hdfs dfs -ls input

提示 INFO sasl.SaslDataTransferClient: SASL encryption trust check: localHostTrusted = false, remoteHostTrusted = false是可以正常上传的

常用命令：

hdfs dfs -mkdir  /input         #创建/input文件夹
hdfs dfs -rm -r /input          #删除/input文件夹
hdfs dfs -put a.log /input      #将a.log上传至/input文件夹
hdfs dfs -get /input/a.log      #将a.log下载到本地电脑上
hdfs dfs -cat a.log             #查看a.log的内容
hdfs dfs -rmdir /input         #删除目录

实验内容shell命令

上传文件：

echo "test"+$(date) > test.txt
echo $(date) > time.txt
#上传文件
hdfs dfs -put ./test.txt input 
hdfs dfs -put ./time.txt input

追加文件：

hdfs dfs -appendToFile test.txt time.txt
hdfs dfs -ls input
hdfs dfs -cat input/test.txt

从本地覆盖上远程文件：

hdfs dfs -copyFromLocal -f time.txt input/test.txt
hdfs dfs -cat input/test.txt

会显示time.txt 的内容

下载文件

并重命名

if [ -f ~/zhouqi1.txt ]
then 
hadoop fs -get /input/test.txt ./test.txt
else
hadoop fs -get /input/test.txt ./test2.txt
fi

显示HDFS中指定的文件的读写权限、大小、创建时间、路径等信息

hdfs dfs -ls input/test.txt
hdfs dfs -ls  -h input/test.txt  # -h 以人类可读的格式设置文件大小 (kb,Mb等)
hdfs dfs -ls  -t input/test.txt  # -t 按修改时间对输出进行排序（最新的优先）
hdfs dfs -ls  -S input/test.txt   #按文件大小排序输出。

给定HDFS中某一个目录，输出该目录下的所有文件的读写权限、大小、创建时间、路径等信息，如果该文件是目录，则递归输出该目录下所有文件相关信息；

hadoop fs -mkdir -p /input/1/2/3/4 #-p 递归创建
hadoop fs -ls -R /input

提供一个HDFS内的文件的路径，对该文件进行创建和删除操作。如果文件所在目录不存在，则自动创建目录；

vim 6.sh
#写入以下内容
#!/bin/bash
hadoop fs -test -d /input/6
if  [ "$?" == "0" ]
then 
hadoop fs -touchz /input/6/6.txt
else
hadoop fs -mkdir -p  /input/6/6.txt
fi

#给脚本加执行权限
chmod +x 6.sh
#执行脚本
sh 6.sh
#查看运行结果
hdfs dfs -ls -R input
#删除文件
hdfs dfs  -rm input/6/6.txt
#查看运行结果
hdfs dfs  -ls -R input

提供一个HDFS的目录的路径，对该目录进行创建和删除操作。创建目录时，如果目录文件所在目录不存在则自动创建相应目录；删除目录时，由用户指定当该目录不为空时是否还删除该目录；

vim 7.sh
#写入以下内容
#!/bin/bash
hadoop fs -test -d /input/7
if  [ "$?" != "0" ]
then 
hadoop fs -mkdir   /input/7
fi
#给脚本加执行权限
chmod +x 7.sh
#执行脚本
sh 7.sh
#查看运行结果
hdfs dfs -ls -R input
#删除目录
hdfs dfs -rmdir input/7 
#如果上一个指令执行不成功，显示目录下有文件
hdfs dfs rm -r input/7
#查看运行结果
hdfs dfs -ls -R input

安装IDEA

下载

官网直接下载：https://www.jetbrains.com/idea/download/#section=linux

https://download.jetbrains.com.cn/idea/ideaIU-2021.1.1.tar.gz

安装

# 复制到指定路径
sudo cp ideaIU-2021.1.1.tar.gz /usr/local 
cd /usr/local 
# 解压
sudo tar -zxvf ideaIU-2021.1.1.tar.gz
# 删除文件
sudo rm -rf ideaIU-2021.1.1.tar.gz

#运行
/usr/local/idea-IU-211.7142.45/bin/idea.sh

新建项目

配置

在这里插入图片描述
新建项目 默认选项 jdk默认1.8下一步

打开Project Structure

添加包

导入项目需要的全部jar包（需要将下列jar包全部导入）
（1）/usr/local/hadoop/share/hadoop/common目录下的hadoop-common-3.1.3.jar和haoop-nfs-3.1.3.jar；
（2）/usr/local/hadoop/share/hadoop/common/lib目录下的所有JAR包；
（3）/usr/local/hadoop/share/hadoop/hdfs目录下的
haoop-hdfs-3.1.3.jar
haoop-hdfs-nfs-3.1.3.jar
hadoop-hdfs-client-3.1.3.jar
（4）/usr/local/hadoop/share/hadoop/hdfs/lib目录下的所有JAR包。

建议把/usr/local/hadoop/share/hadoop里的包都导入了
在这里插入图片描述

测试

启动hadoop
创建一个class名为MyFSDataInputStream
代码:

import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.commons.io.IOUtils;
import java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStream;
import java.io.InputStreamReader;
import java.net.MalformedURLException;
import java.net.URL;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.FsUrlStreamHandlerFactory;
import org.apache.hadoop.fs.Path;

public class MyFSDataInputStream extends FSDataInputStream {
	private static Configuration conf ;
	static{
		URL.setURLStreamHandlerFactory(new FsUrlStreamHandlerFactory());
	}
	MyFSDataInputStream(InputStream in)
	{
		super(in);
	}

	public static void PrintFile() throws MalformedURLException, IOException{
		String FilePath="hdfs://localhost:9000/user/hadoop/input/test.txt";
		InputStream in=null;
		in=new URL(FilePath).openStream();
		IOUtils.copy(in,System.out);
	
	}
	
	public static void main(String[] arg) throws IOException{
		MyFSDataInputStream.PrintFile();
	}
}

保存后直接在IDEA运行

用户

运行的时候如果提示账号没有权限，配置环境变量：

HADOOP_USER_NAME=hadoop

在这里插入图片描述

错误

Class org.apache.hadoop.hdfs.DistributedFileSystem not found
要导入/usr/local/hadoop/share/hadoop/hdfs/hadoop-hdfs-client-3.1.3.jar包

RPC response exceeds maximum data length

Failed on local exception: org.apache.hadoop.ipc.RpcException: RPC response exceeds maximum data length; Host Details : local host is: “nick-virtual-machine/127.0.1.1”; destination host is: “localhost”:9870;

输入jps检查NameNode 和SecondNameNode是否启动

访问localhost:9870确认hadoop localhost:9000端口已经启动

在这里插入图片描述

或者检查:netstat -ano |grep 9000

该值使用服务器core-site.xml文件中的fs.default.name的值

在这里插入图片描述

还有找不到文件的问题 可以用网页里的Utilities找到文件 复制路径。

物理机使用IDEA连接

复制上面的jar包出来 正常创建项目
会出现9000端口无法访问的情况
netstat -tpnl 查看端口
在这里插入图片描述9000端口绑定的是虚拟机的本机IP 应该要绑定0.0.0.0才可以在物理机访问 (可以看到9870绑定的是0.0.0.0)

解决1 编辑host

修改端口绑定

Hadoop本地开发，9000端口拒绝访问
https://blog.csdn.net/yjc_1111/article/details/53817750
HDFS之五：Hadoop 拒绝远程 9000 端口访问
https://www.cnblogs.com/duanxz/p/5142535.html

sudo vim /etc/hosts

或者是修改 0.0.0.0 主机名(虚拟机的名字 ssh连接@后面的内容)(需要重新配置SSH和core-site.xml等)

hadoop账号重启hadoop/usr/local/hadoop/sbin/start-all.sh

解决2 端口转发

将127.0.0.1(内网)的9000端口转发到0.0.0.0(外网 可在物理机访问 对应ifconfig的外网IP)的9000端口
端口转发工具：apt-get install rinetd
sudo vim /etc/rinetd.conf编辑配置

命令格式是
bindaddress bindport connectaddress connectport
绑定的地址 绑定的端口 连接的地址 连接的端口

增加:

0.0.0.0 9200 127.0.0.1 9000

sudo pkill rinetd                #关闭进程

rinetd -c /etc/rinetd.conf       #启动转发

在这里插入图片描述开机启动：

vim /etc/init.d/start_port.sh

#!/bin/bash
 
# command content
 
rinetd -c /etc/rinetd.conf

exit 0

修改权限 chmod 755 start_port.sh

开启：update-rc.d start_port.sh defaults 90
移除开机脚本：update-rc.d -f start_port.sh remove

IDEA报错

HADOOP_HOME and hadoop.home.dir are unset.

远程连接hadoop需要本地操作时也需要配置本地hadoop 环境。

下载：https://github.com/4ttty/winutils

在这里插入图片描述解压选择自己版本的 3.0.0以上的选3.0.0

添加环境变量HADOOP_HOME
在这里插入图片描述
添加Path的环境变量
在这里插入图片描述保存后重启idea

用代码实现上面的shell命令

代码参考 http://dblab.xmu.edu.cn/blog/2808-2/

1上传文件

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.*;
import java.io.*;
 
public class HDFSApi {
    /**
     * 判断路径是否存在
     */
    public static boolean test(Configuration conf, String path) throws IOException {
        FileSystem fs = FileSystem.get(conf);
        return fs.exists(new Path(path));
    }
 
    /**
     * 复制文件到指定路径
     * 若路径已存在，则进行覆盖
     */
    public static void copyFromLocalFile(Configuration conf, String localFilePath, String remoteFilePath) throws IOException {
        FileSystem fs = FileSystem.get(conf);
        Path localPath = new Path(localFilePath);
        Path remotePath = new Path(remoteFilePath);
        /* fs.copyFromLocalFile 第一个参数表示是否删除源文件，第二个参数表示是否覆盖 */
        fs.copyFromLocalFile(false, true, localPath, remotePath);
        fs.close();
    }
 
    /**
     * 追加文件内容
     */
    public static void appendToFile(Configuration conf, String localFilePath, String remoteFilePath) throws IOException {
        FileSystem fs = FileSystem.get(conf);
        Path remotePath = new Path(remoteFilePath);
        /* 创建一个文件读入流 */
        FileInputStream in = new FileInputStream(localFilePath);
        /* 创建一个文件输出流，输出的内容将追加到文件末尾 */
        FSDataOutputStream out = fs.append(remotePath);
        /* 读写文件内容 */
        byte[] data = new byte[1024];
        int read = -1;
        while ( (read = in.read(data)) > 0 ) {
            out.write(data, 0, read);
        }
        out.close();
        in.close();
        fs.close();
    }
 
    /**
     * 主函数
     */
    public static void main(String[] args) {
        Configuration conf = new Configuration();
    conf.set("fs.default.name","hdfs://localhost:9000");
        String localFilePath = "/home/hadoop/text.txt";    // 本地路径
        String remoteFilePath = "/user/hadoop/text.txt";    // HDFS路径
        String choice = "append";    // 若文件存在则追加到文件末尾
//      String choice = "overwrite";    // 若文件存在则覆盖
 
        try {
            /* 判断文件是否存在 */
            Boolean fileExists = false;
            if (HDFSApi.test(conf, remoteFilePath)) {
                fileExists = true;
                System.out.println(remoteFilePath + " 已存在.");
            } else {
                System.out.println(remoteFilePath + " 不存在.");
            }
            /* 进行处理 */
            if ( !fileExists) { // 文件不存在，则上传
                HDFSApi.copyFromLocalFile(conf, localFilePath, remoteFilePath);
                System.out.println(localFilePath + " 已上传至 " + remoteFilePath);
            } else if ( choice.equals("overwrite") ) {    // 选择覆盖
                HDFSApi.copyFromLocalFile(conf, localFilePath, remoteFilePath);
                System.out.println(localFilePath + " 已覆盖 " + remoteFilePath);
            } else if ( choice.equals("append") ) {   // 选择追加
                HDFSApi.appendToFile(conf, localFilePath, remoteFilePath);
                System.out.println(localFilePath + " 已追加至 " + remoteFilePath);
            }
        } catch (Exception e) {
            e.printStackTrace();
        }
    }
}

2 下载文件到本地

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.*;
import java.io.*;
 
public class HDFSApi {
    /**
     * 下载文件到本地
     * 判断本地路径是否已存在，若已存在，则自动进行重命名
     */
    public static void copyToLocal(Configuration conf, String remoteFilePath, String localFilePath) throws IOException {
        FileSystem fs = FileSystem.get(conf);
        Path remotePath = new Path(remoteFilePath);
        File f = new File(localFilePath);
        /* 如果文件名存在，自动重命名(在文件名后面加上 _0, _1 ...) */
        if (f.exists()) {
            System.out.println(localFilePath + " 已存在.");
            Integer i = 0;
            while (true) {
                f = new File(localFilePath + "_" + i.toString());
                if (!f.exists()) {
                    localFilePath = localFilePath + "_" + i.toString();
                    break;
                }
            }
            System.out.println("将重新命名为: " + localFilePath);
        }
 
        // 下载文件到本地
       Path localPath = new Path(localFilePath);
       fs.copyToLocalFile(remotePath, localPath);
       fs.close();
    }
 
    /**
     * 主函数
     */
    public static void main(String[] args) {
        Configuration conf = new Configuration();
    conf.set("fs.default.name","hdfs://localhost:9000");
        String localFilePath = "/home/hadoop/text.txt";    // 本地路径
        String remoteFilePath = "/user/hadoop/text.txt";    // HDFS路径
 
        try {
            HDFSApi.copyToLocal(conf, remoteFilePath, localFilePath);
            System.out.println("下载完成");
        } catch (Exception e) {
            e.printStackTrace();
        }
    }
}

3输出显示

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.*;
import java.io.*;
 
public class HDFSApi {
    /**
     * 读取文件内容
     */
    public static void cat(Configuration conf, String remoteFilePath) throws IOException {
        FileSystem fs = FileSystem.get(conf);
        Path remotePath = new Path(remoteFilePath);
        FSDataInputStream in = fs.open(remotePath);
        BufferedReader d = new BufferedReader(new InputStreamReader(in));
        String line = null;
        while ( (line = d.readLine()) != null ) {
            System.out.println(line);
        }
       d.close();
       in.close();
       fs.close();
    }
 
    /**
     * 主函数
     */
    public static void main(String[] args) {
        Configuration conf = new Configuration();
    conf.set("fs.default.name","hdfs://localhost:9000");
        String remoteFilePath = "/user/hadoop/text.txt";    // HDFS路径
 
        try {
            System.out.println("读取文件: " + remoteFilePath);
            HDFSApi.cat(conf, remoteFilePath);
            System.out.println("\n读取完成");
        } catch (Exception e) {
            e.printStackTrace();
        }
    }
}

4 文件信息

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.*;
import java.io.*;
import java.text.SimpleDateFormat;
 
public class HDFSApi {
    /**
     * 显示指定文件的信息
     */
    public static void ls(Configuration conf, String remoteFilePath) throws IOException {
        FileSystem fs = FileSystem.get(conf);
        Path remotePath = new Path(remoteFilePath);
        FileStatus[] fileStatuses = fs.listStatus(remotePath);
        for (FileStatus s : fileStatuses) {
            System.out.println("路径: " + s.getPath().toString());
            System.out.println("权限: " + s.getPermission().toString());
            System.out.println("大小: " + s.getLen());
            /* 返回的是时间戳,转化为时间日期格式 */
            Long timeStamp = s.getModificationTime();
            SimpleDateFormat format =  new SimpleDateFormat("yyyy-MM-dd HH:mm:ss");
            String date = format.format(timeStamp);  
            System.out.println("时间: " + date);
        }
        fs.close();
    }
 
    /**
     * 主函数
     */
    public static void main(String[] args) {
        Configuration conf = new Configuration();
    conf.set("fs.default.name","hdfs://localhost:9000");
        String remoteFilePath = "/user/hadoop/text.txt";    // HDFS路径
 
        try {
            System.out.println("读取文件信息: " + remoteFilePath);
            HDFSApi.ls(conf, remoteFilePath);
            System.out.println("\n读取完成");
        } catch (Exception e) {
            e.printStackTrace();
        }
    }
}

5 目录文件信息

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.*;
import java.io.*;
import java.text.SimpleDateFormat;
 
public class HDFSApi {
    /**
     * 显示指定文件夹下所有文件的信息（递归）
     */
    public static void lsDir(Configuration conf, String remoteDir) throws IOException {
        FileSystem fs = FileSystem.get(conf);
        Path dirPath = new Path(remoteDir);
        /* 递归获取目录下的所有文件 */
        RemoteIterator<LocatedFileStatus> remoteIterator = fs.listFiles(dirPath, true);
        /* 输出每个文件的信息 */
        while (remoteIterator.hasNext()) {
            FileStatus s = remoteIterator.next();
            System.out.println("路径: " + s.getPath().toString());
            System.out.println("权限: " + s.getPermission().toString());
            System.out.println("大小: " + s.getLen());
            /* 返回的是时间戳,转化为时间日期格式 */
            Long timeStamp = s.getModificationTime();
            SimpleDateFormat format =  new SimpleDateFormat("yyyy-MM-dd HH:mm:ss");
            String date = format.format(timeStamp);  
            System.out.println("时间: " + date);
            System.out.println();
        }
        fs.close();
    }    
 
    /**
     * 主函数
     */
    public static void main(String[] args) {
        Configuration conf = new Configuration();
    conf.set("fs.default.name","hdfs://localhost:9000");
        String remoteDir = "/user/hadoop";    // HDFS路径
 
        try {
            System.out.println("(递归)读取目录下所有文件的信息: " + remoteDir);
            HDFSApi.lsDir(conf, remoteDir);
            System.out.println("读取完成");
        } catch (Exception e) {
            e.printStackTrace();
        }
    }
}

6 文件 创建/删除

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.*;
import java.io.*;
 
public class HDFSApi {
    /**
     * 判断路径是否存在
     */
    public static boolean test(Configuration conf, String path) throws IOException {
        FileSystem fs = FileSystem.get(conf);
        return fs.exists(new Path(path));
    }
 
    /**
     * 创建目录
     */
    public static boolean mkdir(Configuration conf, String remoteDir) throws IOException {
        FileSystem fs = FileSystem.get(conf);
        Path dirPath = new Path(remoteDir);
        boolean result = fs.mkdirs(dirPath);
        fs.close();
        return result;
    }
 
    /**
     * 创建文件
     */
    public static void touchz(Configuration conf, String remoteFilePath) throws IOException {
        FileSystem fs = FileSystem.get(conf);
        Path remotePath = new Path(remoteFilePath);
        FSDataOutputStream outputStream = fs.create(remotePath);
        outputStream.close();
        fs.close();
    }
 
    /**
     * 删除文件
     */
    public static boolean rm(Configuration conf, String remoteFilePath) throws IOException {
        FileSystem fs = FileSystem.get(conf);
        Path remotePath = new Path(remoteFilePath);
        boolean result = fs.delete(remotePath, false);
        fs.close();
        return result;
    }
 
    /**
     * 主函数
     */
    public static void main(String[] args) {
        Configuration conf = new Configuration();
    conf.set("fs.default.name","hdfs://localhost:9000");
        String remoteFilePath = "/user/hadoop/input/text.txt";    // HDFS路径
        String remoteDir = "/user/hadoop/input";    // HDFS路径对应的目录
 
        try {
            /* 判断路径是否存在，存在则删除，否则进行创建 */
            if ( HDFSApi.test(conf, remoteFilePath) ) {
                HDFSApi.rm(conf, remoteFilePath); // 删除
                System.out.println("删除路径: " + remoteFilePath);
            } else {
                if ( !HDFSApi.test(conf, remoteDir) ) { // 若目录不存在，则进行创建
                    HDFSApi.mkdir(conf, remoteDir);
                    System.out.println("创建文件夹: " + remoteDir);
                }
                HDFSApi.touchz(conf, remoteFilePath);
                System.out.println("创建路径: " + remoteFilePath);
            }
        } catch (Exception e) {
            e.printStackTrace();
        }
    }
}

7 目录 创建/删除

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.*;
import java.io.*;
 
public class HDFSApi {
    /**
     * 判断路径是否存在
     */
    public static boolean test(Configuration conf, String path) throws IOException {
        FileSystem fs = FileSystem.get(conf);
        return fs.exists(new Path(path));
    }
 
    /**
     * 判断目录是否为空
     * true: 空，false: 非空
     */
    public static boolean isDirEmpty(Configuration conf, String remoteDir) throws IOException {
        FileSystem fs = FileSystem.get(conf);
        Path dirPath = new Path(remoteDir);
        RemoteIterator<LocatedFileStatus> remoteIterator = fs.listFiles(dirPath, true);
        return !remoteIterator.hasNext();
    }
 
    /**
     * 创建目录
     */
    public static boolean mkdir(Configuration conf, String remoteDir) throws IOException {
        FileSystem fs = FileSystem.get(conf);
        Path dirPath = new Path(remoteDir);
        boolean result = fs.mkdirs(dirPath);
        fs.close();
        return result;
    }
 
    /**
     * 删除目录
     */
    public static boolean rmDir(Configuration conf, String remoteDir) throws IOException {
        FileSystem fs = FileSystem.get(conf);
        Path dirPath = new Path(remoteDir);
        /* 第二个参数表示是否递归删除所有文件 */
        boolean result = fs.delete(dirPath, true);
        fs.close();
        return result;
    }
 
    /**
     * 主函数
     */
    public static void main(String[] args) {
        Configuration conf = new Configuration();
    conf.set("fs.default.name","hdfs://localhost:9000");
        String remoteDir = "/user/hadoop/input";    // HDFS目录
        Boolean forceDelete = false;  // 是否强制删除
 
        try {
            /* 判断目录是否存在，不存在则创建，存在则删除 */
            if ( !HDFSApi.test(conf, remoteDir) ) {
                HDFSApi.mkdir(conf, remoteDir); // 创建目录
                System.out.println("创建目录: " + remoteDir);
            } else {
                if ( HDFSApi.isDirEmpty(conf, remoteDir) || forceDelete ) { // 目录为空或强制删除
                    HDFSApi.rmDir(conf, remoteDir);
                    System.out.println("删除目录: " + remoteDir);
                } else  { // 目录不为空
                    System.out.println("目录不为空，不删除: " + remoteDir);
                }
            }
        } catch (Exception e) {
            e.printStackTrace();
        }
    }
}

8 追加内容

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.*;
import java.io.*;
 
public class HDFSApi {
    /**
     * 判断路径是否存在
     */
    public static boolean test(Configuration conf, String path) throws IOException {
        FileSystem fs = FileSystem.get(conf);
        return fs.exists(new Path(path));
    }
 
    /**
     * 追加文本内容
     */
    public static void appendContentToFile(Configuration conf, String content, String remoteFilePath) throws IOException {
        FileSystem fs = FileSystem.get(conf);
        Path remotePath = new Path(remoteFilePath);
        /* 创建一个文件输出流，输出的内容将追加到文件末尾 */
        FSDataOutputStream out = fs.append(remotePath);
        out.write(content.getBytes());
        out.close();
        fs.close();
}
 
    /**
     * 追加文件内容
     */
    public static void appendToFile(Configuration conf, String localFilePath, String remoteFilePath) throws IOException {
        FileSystem fs = FileSystem.get(conf);
        Path remotePath = new Path(remoteFilePath);
        /* 创建一个文件读入流 */
        FileInputStream in = new FileInputStream(localFilePath);
        /* 创建一个文件输出流，输出的内容将追加到文件末尾 */
        FSDataOutputStream out = fs.append(remotePath);
        /* 读写文件内容 */
        byte[] data = new byte[1024];
        int read = -1;
        while ( (read = in.read(data)) > 0 ) {
            out.write(data, 0, read);
        }
        out.close();
        in.close();
        fs.close();
    }
 
    /**
     * 移动文件到本地
     * 移动后，删除源文件
     */
    public static void moveToLocalFile(Configuration conf, String remoteFilePath, String localFilePath) throws IOException {
        FileSystem fs = FileSystem.get(conf);
        Path remotePath = new Path(remoteFilePath);
        Path localPath = new Path(localFilePath);
        fs.moveToLocalFile(remotePath, localPath);
    }
 
    /**
     * 创建文件
     */
    public static void touchz(Configuration conf, String remoteFilePath) throws IOException {
        FileSystem fs = FileSystem.get(conf);
        Path remotePath = new Path(remoteFilePath);
        FSDataOutputStream outputStream = fs.create(remotePath);
        outputStream.close();
        fs.close();
    }
 
    /**
     * 主函数
     */
    public static void main(String[] args) {
        Configuration conf = new Configuration();
    conf.set("fs.default.name","hdfs://localhost:9000");
        String remoteFilePath = "/user/hadoop/text.txt";    // HDFS文件
        String content = "新追加的内容\n";
        String choice = "after";        //追加到文件末尾
//      String choice = "before";    // 追加到文件开头
 
        try {
            /* 判断文件是否存在 */
            if ( !HDFSApi.test(conf, remoteFilePath) ) {
                System.out.println("文件不存在: " + remoteFilePath);
            } else {
                if ( choice.equals("after") ) { // 追加在文件末尾
                    HDFSApi.appendContentToFile(conf, content, remoteFilePath);
                    System.out.println("已追加内容到文件末尾" + remoteFilePath);
                } else if ( choice.equals("before") )  { // 追加到文件开头
                    /* 没有相应的api可以直接操作，因此先把文件移动到本地*/
/*创建一个新的HDFS，再按顺序追加内容 */
                    String localTmpPath = "/user/hadoop/tmp.txt";
                    // 移动到本地
HDFSApi.moveToLocalFile(conf, remoteFilePath, localTmpPath);
   // 创建一个新文件
                    HDFSApi.touchz(conf, remoteFilePath); 
                    // 先写入新内容
                    HDFSApi.appendContentToFile(conf, content, remoteFilePath);
                    // 再写入原来内容
                    HDFSApi.appendToFile(conf, localTmpPath, remoteFilePath); 
                    System.out.println("已追加内容到文件开头: " + remoteFilePath);
                }
            }
        } catch (Exception e) {
            e.printStackTrace();
        }
    }
}

9删除指定文件

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.*;
import java.io.*;
 
public class HDFSApi {
    /**
     * 删除文件
     */
    public static boolean rm(Configuration conf, String remoteFilePath) throws IOException {
        FileSystem fs = FileSystem.get(conf);
        Path remotePath = new Path(remoteFilePath);
        boolean result = fs.delete(remotePath, false);
        fs.close();
        return result;
    }
 
    /**
     * 主函数
     */
    public static void main(String[] args) {
        Configuration conf = new Configuration();
    conf.set("fs.default.name","hdfs://localhost:9000");
        String remoteFilePath = "/user/hadoop/text.txt";    // HDFS文件
 
        try {
            if ( HDFSApi.rm(conf, remoteFilePath) ) {
                System.out.println("文件删除: " + remoteFilePath);
            } else {
                System.out.println("操作失败（文件不存在或删除失败）");
            }
        } catch (Exception e) {
            e.printStackTrace();
        }
    }
}

10 移动文件

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.*;
import java.io.*;
 
public class HDFSApi {
    /**
     * 移动文件
     */
    public static boolean mv(Configuration conf, String remoteFilePath, String remoteToFilePath) throws IOException {
        FileSystem fs = FileSystem.get(conf);
        Path srcPath = new Path(remoteFilePath);
        Path dstPath = new Path(remoteToFilePath);
        boolean result = fs.rename(srcPath, dstPath);
        fs.close();
        return result;
    }
 
    /**
     * 主函数
     */
    public static void main(String[] args) {
        Configuration conf = new Configuration();
    conf.set("fs.default.name","hdfs://localhost:9000");
        String remoteFilePath = "hdfs:///user/hadoop/text.txt";    // 源文件HDFS路径
        String remoteToFilePath = "hdfs:///user/hadoop/new.txt";    // 目的HDFS路径
 
        try {
            if ( HDFSApi.mv(conf, remoteFilePath, remoteToFilePath) ) {
                System.out.println("将文件 " + remoteFilePath + " 移动到 " + remoteToFilePath);
            } else {
                    System.out.println("操作失败(源文件不存在或移动失败)");
            }
        } catch (Exception e) {
            e.printStackTrace();
        }
    }
}

MyFSDataInputStream

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import java.io.*;
 
public class MyFSDataInputStream extends FSDataInputStream {
    public MyFSDataInputStream(InputStream in) {
        super(in);
    }
 
    /**
     * 实现按行读取
     * 每次读入一个字符，遇到"\n"结束，返回一行内容
     */
    public static String readline(BufferedReader br) throws IOException {
        char[] data = new char[1024];
        int read = -1;
        int off = 0; 
// 循环执行时，br 每次会从上一次读取结束的位置继续读取
//因此该函数里，off 每次都从0开始
        while ( (read = br.read(data, off, 1)) != -1 ) {
            if (String.valueOf(data[off]).equals("\n") ) {
                off += 1;
                break;
            }
            off += 1;
        }
 
        if (off > 0) {
            return String.valueOf(data);
        } else {
            return null;
        }
    }
 
    /**
     * 读取文件内容
     */
    public static void cat(Configuration conf, String remoteFilePath) throws IOException {
        FileSystem fs = FileSystem.get(conf);
        Path remotePath = new Path(remoteFilePath);
        FSDataInputStream in = fs.open(remotePath);
        BufferedReader br = new BufferedReader(new InputStreamReader(in));
        String line = null;
        while ( (line = MyFSDataInputStream.readline(br)) != null ) {
            System.out.println(line);
        }
        br.close();
        in.close();
        fs.close();
    }
 
    /**
     * 主函数
     */
    public static void main(String[] args) {
        Configuration conf = new Configuration();
    conf.set("fs.default.name","hdfs://localhost:9000");
        String remoteFilePath = "/user/hadoop/text.txt";    // HDFS路径
        try {
            MyFSDataInputStream.cat(conf, remoteFilePath);
        } catch (Exception e) {
            e.printStackTrace();
        }
    }
}

HDFS通过URL读取

import org.apache.hadoop.fs.*;
import org.apache.hadoop.io.IOUtils;
import java.io.*;
import java.net.URL;
 
public class HDFSApi {
    static{  
        URL.setURLStreamHandlerFactory(new FsUrlStreamHandlerFactory());  
    }
 
    /**
     * 主函数 
     */
    public static void main(String[] args) throws Exception {
        String remoteFilePath = "hdfs:///user/hadoop/text.txt";    // HDFS文件
        InputStream in = null; 
        try{  
            /* 通过URL对象打开数据流，从中读取数据 */
            in = new URL(remoteFilePath).openStream();  
            IOUtils.copyBytes(in,System.out,4096,false);  
        } finally{  
            IOUtils.closeStream(in);  
        }  
    }
}
nickdlk
关注
  • 2
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 2
    评论
专栏目录
上传文件到HDFS
10-30
上传文件到HDFS的java代码实现。已经测试了，可以直接运行。
idea中上传文件到hdfs的input中
weixin_35750483的博客
12-21 409
如果你想在IntelliJ IDEA中上传文件到HDFS，你可以这样做： 在IntelliJ IDEA中打开要上传的文件。 在左侧的Project窗口中，右键单击文件，然后选择"Copy Path"，将文件的路径复制到剪贴板中。 打开命令行工具，使用"hdfs dfs -put"命令将文件复制到HDFS中。例如： hdfs dfs -put/path/to/local/file hdfs...
Hadoop——HDFS文件系统的Java API操作（上传、下载、查看、删除、创建文件）详细教学
最新发布
2401_84048445的博客
05-14 1043
自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。深知大多数Java工程师，想要提升技能，往往是自己摸索成长，自己不成体系的自学效果低效漫长且无助。因此收集整理了一份《2024年Java开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。
使用IDEA通过flume上传本地文件到Hdfs-附件资源
03-02
使用IDEA通过flume上传本地文件到Hdfs-附件资源
Windows下idea实现hdfs上传数据时出现java.lang.IllegalArgumentException: java.net.UnknownHostException:hadoop
Marblue_的博客
10-10 1197
用idea配置了hdfs进行操作时，想试试是否配好了文件，尝试上传一个文档数据： ，结果出现报错： java.lang.IllegalArgumentException: java.net.UnknownHostException:hadoop102 如图： 解决方法： 发现是Windows找不到虚拟机hadoop102导致的问题。 尝试修改文件C:\Windows\...
IDEA上传 HDFS文件出错
thinkhui的专栏
03-26 1621
错误如下： org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /hdfsapi/test/c.txt could only be replicated to 0 nodes instead of minReplication (=1). There are 1 datanode(s) running and 1 n...
hadoop-idea-hdfs插件.zip
01-09
IntelliJ IDEA，作为Java开发者广泛使用的IDE，通过各种插件扩展了其功能，其中Hadoop HDFS插件就是专为Hadoop开发者设计的利器。 这款名为“hadoop-idea-hdfs插件”的插件，与Eclipse上的Hadoop hdfs插件类似，为...
Java idea 开发工具 hadoop-hdfs插件.zip
05-14
Java idea 开发工具 hadoop-hdfs插件。 idea hadoop-hdfs插件,和eclipse上一样的Hadoop hdfs的插件功能一样;端口分别为50020和9000,不用点测试直接点应用即可 idea插件 hadoop hdfs
idea-hadoop-plugins.zip
07-13
它们可能包括对Hadoop MapReduce、HDFS、YARN等组件的支持，提供代码智能提示、构建工具、调试器等功能，以便开发者能够在IDEA中直接操作Hadoop集群。 由于压缩包的文件名称列表只给出了"idea-hadoop-plugins"，...
hadoop插件apache-hadoop-3.1.0-winutils-master.zip
12-17
2. **Java环境**：Hadoop依赖Java运行，因此确保系统已经安装了兼容的JDK，并且JAVA_HOME环境变量已正确设置。 3. **HDFS初始化**：使用`winutils.exe`初始化HDFS文件系统，创建NameNode和DataNode的数据目录，这...
hadoop-2.6.0
12-12
6. **兼容性问题**：运行Hadoop on Windows可能会有其他兼容性问题，比如Java版本不匹配，因此保持Java版本与Hadoop版本兼容也很重要。 标签“hadoop-2.6.0”再次强调了讨论的主题，表明所有问题和解决方案都应针对...
hadoop最新版本3.1.1全量jar包
10-26
hadoop-annotations-3.1.1.jar hadoop-common-3.1.1.jar hadoop-mapreduce-client-core-3.1.1.jar hadoop-yarn-api-3.1.1.jar hadoop-auth-3.1.1.jar hadoop-hdfs-3.1.1.jar hadoop-mapreduce-client-hs-3.1.1.jar hadoop-yarn-client-3.1.1.jar hadoop-client-api-3.1.1.jar hadoop-hdfs-client-3.1.1.jar hadoop-mapreduce-client-jobclient-3.1.1.jar hadoop-yarn-common-3.1.1.jar hadoop-client-minicluster-3.1.1.jar hadoop-mapreduce-client-app-3.1.1.jar hadoop-mapreduce-client-shuffle-3.1.1.jar hadoop-yarn-server-common-3.1.1.jar hadoop-client-runtime-3.1.1.jar hadoop-mapreduce-client-common-3.1.1.jar hadoop-mapreduce-client-uploader-3.1.1.jar
idea如何打jar包上传到hdfs进行测试
东城庞太师
01-11 819
点开idea右侧的Maven Project，选择当前模块，选择Lifecycle，然后双击package，此时等待10秒钟左右。 现在去模块下面，target，maven-archiver下面找到jar包 然后上传进行测试即可！ ...
CDH安装HDFS报错：RPC response exceeds maximum data length
qiuye2014的博客
05-24 9227
INFO retry.RetryInvocationHandler: java.io.IOException: Failed on local exception: org.apache.hadoop.ipc.RpcException: RPC response exceeds maximum data length; Host Details : local host is: "slaver2...
hadoop hdfs常用shell命令
qq_43224174的博客
12-10 1753
仅供自己学习和大家参考 查看帮助命令 [lqs@bdc112 hadoop-3.1.3]$ bin/hadoop fs Usage: hadoop fs [generic options] [-appendToFile <localsrc> ... <dst>] [-cat [-ignoreCrc] <src> ...] [-checksum <src> ...] [-chgrp [-R] GROUP PATH...] [-chmod [-R] .
hadoop-hdfs操作-03
来一杯吧
10-24 517
hdfs常用命令
hadoop报错 is longer than maximum configured RPC length 67108864
duanbiren123的博客
04-02 1151
hadoop 2.7.3 集群，出现录入数据延迟高的问题，namenode日志中有报错信息： is longer than maximum configured RPC length 67108864 报错原因： ipc实际通讯的数据包大于默认最大的数据包配置64MB 解决办法： 提高这个参数到128MB 1、在下面3个配置中同时加上 vi /data/usr/hadoop-2.7.3/s...
Error: Could not find or load main class org.apache.hadoop.mapreduce.v2.app.MRAppMaster
weixin_44340038的博客
08-01 709
安装目录下找到mapred-site.xml文件（$HADOOP_HOME/etc/hadoop/mapred-site.xml）,添加以下配置。复制路径后，在Hadoop安装目录下找到。重启Hadoop集群。
【Flink】SASL encryption trust check: localHostTrusted = false, remoteHostT
九师兄
01-18 3189
1.场景1 项目场景： 将Linux系统本地的~./bashrc文件上传到HDFS的text文件夹中 问题描述： 这个玩意是正常的 并不是报错 ./bin/hdfs dfs -put ~/.bashrc test 2021-09-17 10:24:22,037 INFO sasl.SaslDataTransferClient: SASL encryption trust check: localHostTrusted = false, remoteHostTrusted = ./bin/hdfs dfs
idea中配置Hadoop
05-25
5. 在 Module 的 `src` 目录下创建一个新的 Java 类，并编辑代码实现 Hadoop 相关功能。 6. 在 `Run` 菜单中选择 `Edit Configurations`，点击 `+` 新建一个运行配置。 7. 在运行配置中设置 Hadoop 的配置文件路径...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

nickdlk

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值