HDFS
更新HDFS的日常
不温卜火
大数据开发/数据采集/数据清洗/数据分析/数据可视化
关注我!共同学习!!!
展开
-
HDFS系列(7) | HDFS的 I/O流 API操作
上一篇博文我们分享的API操作HDFS系统都是框架封装好的。那么如果我们想自己实现上述API的操作该怎么实现呢?此次物品们介绍的是采用I/O流的方式实现数据的上传和下载。目录一. HDFS文件上传二. HDFS文件下载三. 定位文件读取一. HDFS文件上传需求:把本地d盘上的lisen.txt文件上传到HDFS根目录 1. 代码package com.buwenbuhuo....原创 2020-04-25 12:01:51 · 4879 阅读 · 48 评论 -
HDFS系列(6) | HDFS的java API操作
在之前的博客《HDFS系列(5) |进行API操作前的准备》中,博主为大家分享的是在进行API操作前的准备工作。而本篇博客,博主为大家展现HDFS的API操作。目录1. HDFS文件上传2. HDFS文件下载3. HDFS文件夹删除4. HDFS文件名更改5. HDFS文件详情查看6. HDFS文件和文件夹判断1. HDFS文件上传 1. 源码:package com.buwen...原创 2020-04-25 08:55:12 · 4158 阅读 · 31 评论 -
HDFS系列(5) | 进行API操作前的准备
本篇博文给大家介绍的是进行JavaAPI操作前的准备工作目录一. 电脑安装配置Hadoop1. 将下载的jar包放到非中文路径2. 配置HADOOP_HOME环境变量3. 配置Path环境变量4. 测试是否成功二. maven1. 此步可省略,一般用自带的即可2. 创建一个Maven工程三. 创建包和类1. 创建2. 输入测试代码个人可根据自己电脑的操作系统下载对应的hadoop.jar...原创 2020-04-24 08:47:16 · 3814 阅读 · 34 评论 -
HDFS系列(4) | HDFS文件读写流程
目录原创 2020-04-24 08:46:15 · 4635 阅读 · 34 评论 -
HDFS系列(3) | HDFS的Shell常用命令大全
目录原创 2020-04-24 08:45:40 · 4655 阅读 · 37 评论 -
HDFS系列(2) | HDFS优缺点分析
因为在上期的分享中,大家看到的更多是HDFS的底层原理,内部结构,并没有谈到其自身优势和劣势的一个比较!因此,本次博主为大家带来的就是对HDFS的优缺点进行分析。目录...原创 2020-04-23 09:22:41 · 4359 阅读 · 33 评论 -
HDFS系列(1) | HDFS文件系统的简单介绍
在Hadoop分布式环境搭建(简单高效~)这篇博客中,博主在最后为大家带来了HDFS的初体验。但是当时只是尝试测试一下集群是否有错误,因此,本篇博文为大家带来HDFS的文件系统介绍。在介绍文件系统之前我们首先需要了解HDFS的作用。我们都知道HDFS是Hadoop的一个核心组件,那在Hadoop中HDFS扮演着怎样的一个角色呢?我们可以通过下图直观的了解。 上图中个部分的作用:...原创 2020-04-23 09:22:19 · 4684 阅读 · 33 评论