MAC M1大数据0-1成神篇-23 hdfs读数据流程

最新推荐文章于 2024-09-27 00:45:01 发布
最新推荐文章于 2024-09-27 00:45:01 发布
阅读量127 收藏 1
点赞数
分类专栏： hadoop 文章标签： hdfs hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/MmmxsBlogs/article/details/125056190
版权
本文详细阐述了客户端如何通过Hadoop Distributed File System (DFS)读取文件的步骤，包括客户端请求、DFS检查文件信息、创建FSDataInputStream、按块读取并合并文件，直至关闭输入流的过程。
摘要由CSDN通过智能技术生成

写在前面：

略

进入主题：

  • 首先客户端发送请求到DFS，申请读取某一个文件
    • /tomcat.tar.gz
  • DFS去NN查找这个文件的信息(权限,文件是否存在)
    • 如果文件不存在，抛出指定的错误
    • 如果文件存在，返回成功状态
  • DFS创建FSDataInputStream对象，客户端通过这个对象读取数据
  • 客户端获取文件第一个Block信息,返回DN1 DN2 DN8
  • 客户端直接就近原则选择DN1对应的数据即可
  • 依次类推读取其他块的信息，直到最后一个块,将Block合并成一个文件
  • 关闭FSDataInputStream

完毕。 

松哥看世界
关注
专栏目录
mac下Hadoop、HDFS、Spark环境的安装和搭建
淡然坊
10-09 2万+
大数据情结 14年的时候开始接触Hadoop，在Windows下搭了好几次环境，单机版、伪分布式和分布式都搭建过。那时候需要在Windows下装个虚拟机，在虚拟机中再装个Ubuntu，之后在Ubuntu上开始装jdk，hadoop等等，虽然麻烦了点，但是乐此不疲。一般环境搭建好了，再远程连接到Windows下的Eclipse然后开始把玩自带的10来个example，看着控制台齐刷刷的打印
MAC M1大数据0-1成神篇-29 hbase-ha环境搭建
Mmmxs
07-03 892
hbase高可用集群搭建
HDFS命令
macSun_jh的博客
06-11 1417
HDFS命令 http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/FileSystemShell.html#expungeHDFS使用的典型块大小为128 MB。因此，一个HDFS文件被分成128 MB的块，如果可能的话，每个块将驻留在不同的DataNode上。dfs和...
如何实现Windows,Mac,Linux访问Hadoop HDFS 文件系统
happyfreeangel的博客
10-31 1706
最近有个需求需要实现windows 上直接访问Hadoop HDFS 文件系统，并设置相关权限， 前提条件: 1.hadoop 健康集群一个 2.centos7 系统一个 3. hadoop-fuse-dfs 安装软件 4. samba4 安装软件 第一步: 安装hadoop-fuse-dfs 使用root用户登陆centos7 修Ccentos-base.repo 添加以下内容到文件最后： ...
mac安装hadoop2-client
寒夜
07-31 1791
文章目录1. 环境背景1. 公司的大数据平台是基于CDH搭建的2. 使用了kerberos 作为权限管理2. 安装方式1. 在其他centos服务器上的安装测试1. 安装配置kerberos2. 安装client包2. 在mac上安装hadooop2 client1. 安装配置kerberos2. 安装hadoop client3. 噩梦开始4. 增加debug功能5. 原来mac和centos的tiket存储的位置不一样6. 原来还有加密问题 1. 环境背景 1. 公司的大数据平台是基于CDH搭建的 Ha
mac搭建Hadoop环境流程
qq_33044969的博客
09-20 1627
如果遇到 “Incorrect configuration: namenode address dfs.namenode.servicerpc-address or dfs.namenode.rpc-address is not configured.” 问题，则是hadoop配置 的环境变量没有设置好 或者设置错误，需要重新设置。/etc/hadoop文件夹下没有mapred-site.xml 文件，需要将 mapred-site.xml.template 拷贝一下再修改。在sbin目录运行命令。
MAC M1大数据0-1成神篇-18 hadoop安装
Mmmxs
05-22 1008
写在前面： 开始搭建hadoop吧 给链接： 链接: https://pan.baidu.com/s/15kXxdkNtLcrkMggAFge0Ew 提取码: oldw 进入主题： Hadoop3完全分布式搭建 准备安装环境 解压文件。 cd /opt/local/hadoop-3.3.1/etc/hadoop 修改集群环境 vim hadoop-env.sh export JAVA_HOME=/opt/local/jdk1.8.0_261 export HDFS_.
完整版大数据课件集合3-大数据导论-第三章-分布式文件系统HDFS（共54页）.ppt
08-21
3.1 分布式文件系统 3.2 HDFS简介 3.3 HDFS相关概念 3.4 HDFS体系结构 3.5 HDFS存储原理 3.6 HDFS数据读写过程 3.7 HDFS编程实践
大数据--Hadoop HDFS
08-09
### 大数据、Hadoop与HDFS详解 随着信息技术的快速发展和互联网的普及，数据量呈爆炸性增长态势。传统的数据处理工具和技术已无法满足如此大规模数据的存储、管理和分析需求。为此，Apache Hadoop应运而生，它提供...
完整版大数据课件集合3-大数据导论-第三章-分布式文件系统HDFS（共54页）.rar
09-29
分布式文件系统HDFS（Hadoop Distributed File System）是Apache Hadoop项目的核心组件之一，它为大规模数据处理提供了可扩展的、高吞吐量的数据存储方案。本课件集合旨在全面介绍HDFS的基本概念、架构原理以及实际...
mac下hadoop环境的搭建以及碰到的坑点
chen
10-15 1万+
提示：这里有Exit code: 127 Stack trace: ExitCodeException exitCode=127: 错误的解决的方法，在文章最后面一、首先要配置好java环境 下载地址：http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html mac电脑直接jdk-8u1
HDFS 客户端操作
程序员学习圈
05-18 999
1.HDFS写数据流程    1）客户端通过Distributed FileSystem模块向NameNode请求上传文件，NameNode检查目标文件是否已存在，父目录是否存在。    2）NameNode返回是否可以上传。       3）客户端请求第一个 block上传到哪几个datanode服务器上。    4）NameNode返回3个datanode节点，分别为dn1、dn2、dn3。 ...
HDFS教程（02）- HDFS命令汇总
阿甘兄
02-23 1772
文章目录01 引言02 HDFS安装03 HDFS命令汇总3.1 新增操作3.1.1 创建文件夹（mkdir命令）3.1.2 文件上传（put命令）3.1.3 文件复制（cp命令）3.1.4 移动文件（mv命令）3.1.5 创建空文件（touchz命令）3.2 删除操作3.2.1 删除文件夹（rmdir命令）3.2.2 删除文件（rm命令）3.2.3 清空回收站（expunge命令）3.3 查看操作3.3.1 获取文件（get 命令）3.3.2 查看文件（ls、du、df、cat、tail 命令）3.3.3
Mac下安装Hadoop
阿甘兄
02-18 6970
文章目录01 引言02 配置ssh环境02 安装与配置Hadoop03 启动Hadoop并验证3.1 启动Hadoop3.2 启动yarn服务 01 引言 如果想在Mac下安装Hadoop而且让Hadoop能正常运行，那安装之前需要先安装java，具体可以参考之前写的博客《Mac下安装JDK11（国内镜像）》。 好了，现在开始讲解如何在Mac环境下安装Hadoop。 02 配置ssh环境 在Mac下如果想使用Hadoop，必须要配置ssh环境， 如果不执行这一步，后面启动hadoop时会出现Connecti
【hadoop入门实战】Mac上安装hadoop，并运行程序（1）
热门推荐
.
06-28 3万+
安装hadoop
Mac 安装 Hadoop 3.x
发呆中!
01-16 2898
转自：https://blog.csdn.net/fox64194167/article/details/80617527 brew安装也可以，但是个人感觉还是自己去hadoop官网上下载hadoop相关包，地址：https://hadoop.apache.org/releases.html 3.1.1：https://www.apache.org/dyn/closer.cgi/hadoop/...
Mac安装Hadoop(超级无敌宇宙爆炸详细)
Horsleyli的博客
11-01 1万+
且视他人之疑目如盏盏鬼火,大胆地去走你的夜路
【Pyspark-驯化】一文搞懂Pyspark中表连接的使用技巧
志在创建优质博客、通俗易懂、助力大家提高学习效率！
08-12 1520
在数据处理和分析中，表连接（Join）是一种常用的操作，用于将两个或多个表中满足特定条件的数据行组合在一起。PySpark提供了多种连接函数，允许用户根据不同的键进行内连接、外连接、左连接和右连接。PySpark中的连接函数是处理和分析数据集的重要工具。通过本博客的代码示例，我们学习了如何使用不同的连接类型和条件来合并数据。希望这篇博客能够帮助你更好地理解PySpark中的连接操作，并将其应用于实际的数据处理任务中。
基于Hive和Hadoop的哔哩哔哩网站分析系统
最新发布
图南的博客
09-27 698
本项目是一个基于大数据技术的哔哩哔哩平台分析系统，旨在为用户提供全面的哔哩哔哩视频数据和深入的用户行为分析。系统采用 Hadoop 平台进行大规模数据存储和处理，利用 MapReduce 进行数据分析和处理，通过 Sqoop 实现数据的导入导出，以 Spark 为核心进行高效的数据处理。整个系统结合了大数据处理技术，为用户提供精准的内容推荐和深入的用户兴趣分析，帮助平台更好地了解视频趋势和用户需求。
2022大数据HCIA-Big Data认证：概述与HDFS组件详解
1. **问题1**：大数据技术的应用场景 - 选项A（商业模式发现）表明该问题考察的是大数据如何在商业策略中发挥作用，但根据给出的答案，正确答案是A，这意味着商业模式发现并非大数据技术直接实现的功能。 2. **...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值