hadoop的hdfs使用小结

最新推荐文章于 2022-09-28 20:47:18 发布
最新推荐文章于 2022-09-28 20:47:18 发布
阅读量136 收藏
点赞数
分类专栏： Hadoop 文章标签： hadoop big data
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43662627/article/details/107616273
版权
本文总结了Hadoop HDFS的基本操作，包括创建目录、查找文件、上传本地文件、统计单词、文件拷贝、查看帮助、剪切、追加、修改文件组、权限管理等关键步骤，详细阐述了HDFS的日常使用方法。
摘要由CSDN通过智能技术生成

hdfs 文件目录如下
在这里插入图片描述

1创建目录（bin目录下）
hdfs dfs -mkdir -p /user/lin
2查找文件系统目录
hdfs dfs -ls /
3将本地文件上传到文件目录
bin/hdfs dfs -put README.txt /user/lin
4统计单词
bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.7.jar wordcount /user/lin/ /user/kn
5不能经常格式化的原因
会导致DataNode和NameNode的clusterId不同

拷贝文件
rsync -rvl /export/servers/rsy/ hadoop02:/export/servers/rsy/
在这里插入图片描述

查看帮助
hdfs dfs or hadoop fs
将本地文件剪切到hdfs目录中
hadoop fs -moveFromLocal gg.txt /usr/
在这里插入图片描述

将本地的文件追加到hdfs系统中并查看
hadoop fs -appendToFile an.txt /usr/gg.txt
hadoop fs -cat /usr/gg.txt

最低0.47元/天 解锁文章
Drgom
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hadoop HDFS基础知识小结
weixin_44210453的博客
07-19 291
HDFS 基本信息 什么是HDFS Hadoop分布式文件系统,进行海量数据存储 设计思想 分而治之，将大文件切割成小文件，存放在大量的服务器上 ###一些相关名词 服务器（节点）：服务器（一台没有显示器的主机，运行着很多服务【进程】，为客户端【任何一个使用者都可以理解为客户端】提供服务） 集群：由很多台服务器组成的逻辑型的超级计算机 文件切片：将大文件切分成一个个小的block块以进行存储（Hadoop2后默认一个block块128M，之前默认64M），若一个文件129M那么多出来的1M也是单独开一个b
Hadoop学习总结之HDFS
wusdsf的博客
06-30 435
HDFS的简介、读数据流程、写数据流程及namenode的checkpoint机制。
hdfs使用过程总结
我是尘客哥
09-29 161
1.HDFS按照数据块存储，每个数据块为64M，对于任何数据块都存储三分（分三个datanode存储），目的是为了保证硬件容错。其中两份放在同一个机架上面，另外一份放在另外机架上面。这样确保datanode节点和机架出现故障时数据不丢失。 2.namenode和datanode之间有心跳协议：每隔多少秒，datanode都会向namenode汇报自身数据节点状态（是否处于active,or开关机...
HDFS总结
最新发布
weixin_42382758的博客
09-28 1756
概述 HDFS 分布式文件系统。适合一次写入，多次读出（文件创建写入关闭后不修改） 优点：高容错（分布式）+大规模数据（文件数量、数据PB级别）+成本低（多副本在廉价机器上） 缺点：存储数据延迟+只适合大文件存储+单线程写文件+只追加文件不随机修改 HDFS组成 NameNode(Master) 管理 HDFS名称空间+配置副本+数据块映射+处理客户端读写请求 DataNode(Slave， NameNode下达命令，DataNode执行命令）存储实际数据+执行数据读写 Client(客户端) Second
HDFS学习总结
weixin_39387789的博客
08-06 142
Hadoop（入门） 一、Hadoop的优势（四高） - 1）高可靠性：Hadoop底层维护多个数据副本，所以即使Hadoop某个计算元素或存储出现故障，也不会导致数据的丢失。 - 2）高扩展性：在集群间分配任务数据，可方便的扩展数以千计的节点。 - 3）高效性：在MapReduce的思想下，Hadoop是并行工作的，以加快任务处理速度。 - 4）高容错性：能够自动将失败的任务重新分配。 二、Hadoop组成 概述 - Hadoop1.x组成.pptx - Hadoop2.x组成.pptx - 1）H
python 操作 Hadoop hdfs
04-02
在大数据处理领域，Hadoop HDFS（Hadoop Distributed File System）是广泛使用的分布式文件系统，它为大规模数据处理提供了高效、可靠的数据存储解决方案。而Python作为一种灵活易用的编程语言，常常被用来与Hadoop ...
windows平台使用hadoop hdfs文件进行中文分词的示例代码
11-08
总结起来，这个示例展示了如何在Windows环境下使用Eclipse和Hadoop插件处理HDFS中的中文文本数据，通过MapReduce完成分词、统计和排序任务。这个过程中涉及到了Hadoop的MapReduce编程模型、中文分词库的使用以及数据...
hadoop-hdfs-study:解读hadoop hdfs
03-24
总结来说，Hadoop HDFS是大数据存储的核心技术，其独特的设计使得它能够处理海量数据，同时保证数据的安全性和可靠性。通过深入学习和实践，我们可以更好地掌握HDFS的原理和应用，从而在大数据领域发挥更大的价值。...
HDFS.zip_Hadoop 平台_hadoop_hdfs
09-21
总结，Hadoop平台上的HDFS为大数据存储提供了强大的支持，通过灵活的文件操作和高可用性设计，保证了数据的安全和高效访问。无论是通过命令行工具还是编程接口，用户都能方便地与HDFS进行交互，实现大规模数据的管理...
搭建hadoop后hdfs基本操作 ecplisec操作
03-20
总结起来，通过Eclipse与Hadoop的Java API，我们能实现HDFS的基本操作，包括文件的上传、下载、删除、移动以及目录的管理。这对于大数据开发人员来说是必不可少的技能，有助于理解和掌握Hadoop生态系统的工作原理。
hadoop之HDFS总结
qq_39131779的博客
10-15 293
HDSF（分布式存储学习总结） 1.hadoop的历史 大数据起源于Google发布的三篇论文：GFS、MapReduce和BigTable。 hadoop的作者Doug Cutting根据Google的GFS提出了HDFS分布式，根据MapReduce提出了MapReduce，同时Doug Cutting还是全文搜索Lucene的创始者。 Google的技术虽好但不开源。如果没有Doug Cu...
Hadoop的HDFS总结
weixin_33813128的博客
11-25 91
HDFS提供分布式存储机制, 提供可线性增长的海量存储能力自动数据冗余, 无须使用Raid, 无须另行备份为进一步分析计算提供数据基础HDFS设计基础与目标硬件错误是常态, 因此需要冗余流式数据访问. 即数据批量读取而非随机读写, hadoop擅长做的是数据分析而不是事务处理大规模数据集简单一致性模型. 为了降低系统复杂度, 对文件采用一次性写多次读的逻辑设计, 即是文件一...
Hadoop(HDFS)知识点总结
serendipity
02-05 846
第1章 HDFS概论 1.1 HDFS产生背景及定义 1.1.1 HDFS产生背景 随着数据量越来越大，在一个操作系统存不下所有的数据，那么就分配到更多的操作系 统管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理堕胎机器上的文件， 这就是分布式文件管理系统；HDFS只是分布式文件管理系统中的一种 1.1.2 HDFS定义 HDFS(Hadoop Distributed F...
hadoop介绍以及hdfs总结
weixin_42130191的博客
08-07 96
1、Hadoop 是 Apache 旗下的一套开源软件平台 2、Hadoop 提供的功能：利用服务器集群，根据用户的自定义业务逻辑，对海量数据进行分 布式处理 3.Hadoop 的核心组件有 A．Common（基础功能组件）（工具包，RPC 框架）JNDI 和 RPC B．HDFS（Hadoop Distributed File System 分布式文件系统） C．YARN（Yet A...
HDFS基础知识(个人总结)
hellosrc的博客
10-24 7245
    声明: 1. 本文为我的个人复习总结, 并非那种从零基础开始普及知识 内容详细全面, 言辞官方的文章               2. 由于是个人总结, 所以用最精简的话语来写文章            
hadoop2.7.1使用dfs命令的错误（bin/hdfs dfs -mkidr input的错误）
热门推荐
飘过的春风
12-11 1万+
hadoop2.7.1 相对路径不能用，似乎必须用绝对路径创建？？？？ bin/hdfs dfs -mkdir input错误 提示“ls: `input': No such file or directory” （环境是hadoop2.7 centos 64位 ） 第一步错误必须换成hadoop dfs -mkdir /input bin/hdfs fs
hadoop hdfs dfs 命令讲解
mojolang
01-09 6772
hdfs dfs命令 appendToFile Usage: hdfs dfs -appendToFile <localsrc> ... <dst> 追加一个或者多个文件到hdfs制定文件中.也可以从命令行读取输入. · hdfs dfs -appendToFile localfile /user/hadoop/hadoopfile · hdfs dfs -appen...
hadoop入门级总结一：HDFS
weixin_30699741的博客
07-07 156
虽然hadoop经历了多年的发展，作为技术人员都或多或少的使用过或者了解过。这里还是做一个简单的总结，主要原因是之前主要是做hadoop的开发，对hadoop的运维知之甚少，但真正的接触到hadoop运维的工作的时候，其实会发现，对hadoop的一整套框架和理论知识都需要系统的学习，才能把工作做得更好，同时做基于hadoop的数据分析工作的时候，也时常会涉及到一些hadoop参数的调优。因此，...
Hadoop HDFS读文件机制解析
同时，Hadoop环境的搭建是实际使用HDFS的前提，包括安装配置NameNode和DataNode等组件。 总结起来，HDFS通过其独特的运行机制实现了高效、可靠的文件存储和访问，而读文件流程是这一机制中的重要一环，涉及到...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值