Java最全记录Java读取hdfs上的文件全过程_java 读取hdfs文件(1)，面试字节跳动的Java工程师该怎么准备

最后

分享一些系统的面试题，大家可以拿去刷一刷，准备面试涨薪。

这些面试题相对应的技术点：

• JVM
• MySQL
• Mybatis
• MongoDB
• Redis
• Spring
• Spring boot
• Spring cloud
• Kafka
• RabbitMQ
• Nginx
• …

大类就是：

• Java基础
• 数据结构与算法
• 并发编程
• 数据库
• 设计模式
• 微服务
• 消息中间件

本文已被CODING开源项目：【一线大厂Java面试题解析+核心总结学习笔记+最新讲解视频+实战项目源码】收录

需要这份系统化的资料的朋友，可以点击这里获取

文章目录

前言

一、项目大体流程

二、详细步骤

1.在idea里面创建空项目（小白也能看懂）

2.导入所需的jar包

2.输入代码后就可以实现了

总结

---

前言

跟着白哥学Java，今天就来分享一下Java如何上传文件到hdfs上面，

---

提示：以下是一点见解

一、项目大体流程

我们想要上传到hdfs，首先就得知道hdfs是什么东西：

**本质：**HDFS的中文翻译是Hadoop分布式文件系统（Hadoop Distributed File System）。它本质还是程序，主要还是以树状目录结构来管理文件（和linux类似，/表示根路径），且可以运行在多个节点上（即分布式）。

**解决的问题：**存储海量离线数据（如TB、PB、ZB级别的数据），并且保证数据高可用，支持高并发访问。注：不适合将大量的小文件存到HDFS。（主要原因：HDFS的NameNode进程在内存中存储文件的元数据，故文件越多，消耗的内存就越大。大量的小文件，耗尽NameNode节点的内存，而实际存的文件总量却很小，HDFS存海量数据的优势没有发挥出来）

**架构：**HDFS的架构如下，其中在Linux端的详细部署就不一一赘述了

我们的项目构成如下：

二、详细步骤

1.在idea里面创建空项目（小白也能看懂）

图解（示例）：

注意：一般idea会自带一个jdk是20以上的，如果版本不和心意，也可以点下载，选择合适的jdk

 

好的，这样子我们就得到一个空项目了

2.导入所需的jar包

新建一个项目后，将HDFS相关的jar包引入到项目中，目的是调用HDFS提供的相关的类、方法。我们现在将所需要的jar依赖导入进来，接下来要进行导包：

本次面试答案，以及收集到的大厂必问面试题分享：

本文已被CODING开源项目：【一线大厂Java面试题解析+核心总结学习笔记+最新讲解视频+实战项目源码】收录

需要这份系统化的资料的朋友，可以点击这里获取

心总结学习笔记+最新讲解视频+实战项目源码】](https://bbs.csdn.net/forums/4f45ff00ff254613a03fab5e56a57acb)收录**

需要这份系统化的资料的朋友，可以点击这里获取