指导手册03：Hadoop基础操作.md

最新推荐文章于 2022-06-10 08:28:27 发布
最新推荐文章于 2022-06-10 08:28:27 发布
阅读量564 收藏
点赞数 1
分类专栏： 大数据 文章标签： 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_37451173/article/details/82942367
版权
本文档详细介绍了如何查看Hadoop集群的基本信息，包括存储系统信息、数据节点状态和计算资源信息。此外，还阐述了HDFS的基础操作，如创建目录、上传下载文件、查看文件内容以及删除文件或目录。最后，提供了将本地数据文件email_log.txt上传到HDFS的步骤，并强调了实验结果分析与总结的重要性。
摘要由CSDN通过智能技术生成

指导手册03：Hadoop基础操作

Part 1:查看Hadoop集群的基本信息

1．查询存储系统信息

（1）在WEB浏览器的地址栏输入http://master:50070/

请查看自己的Hadoop集群填写下表

Configured Capacity:己配置的文件系统存储总量
DFS Remaining :可使用的DFS存储总量
Non DFS Used 被非DFS的应用所占用的存储总量
DFS Used:己使用的 DFS存储总量
Live Nodes: 在线的数据节点：

（2）显示数据节点信息

查询HDFS信息的命令

Hdfs dfsadmin –report [-live] [-dead] [decommissioning]

report：输出文件系统的基本信息及相关数据统计。

-report -live：输出文件系统中在线节点的基本信息及相关数据统计。

-report -de

最低0.47元/天 解锁文章
qq_37451173
关注
专栏目录
常用的HDFS操作
weixin_43731641的博客
05-18 4150
常用的HDFS操作利用Hadoop提供的shell命令完成任务(1)向HDFS中上传任意文本文件，如果指定的文件在HDFS中已经存在，由用户指定是追加到原有文件末尾还是覆盖原有文件功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 利
hdfs dfs -du -h 或者 hadoop fs -du -h 输出三列数据的含义
nana1253431195的博客
09-02 918
所以第二列的是第一列的三倍 （第二列内容=文件大小*副本数）第二列表示该目录下所有文件在集群上的总存储大小。与你的副本数相关，我的副本数是3 ，第一列表示该目录下总文件大小。第三列表示你查询的目录。
hadoop hdfs dfs 命令讲解
梁小明的博客
05-23 5万+
hdfs dfs命令 appendToFile Usage: hdfs dfs -appendToFile  ...  追加一个或者多个文件到hdfs制定文件中.也可以从命令行读取输入. · hdfs dfs -appendToFile localfile /user/hadoop/hadoopfile · hdfs dfs -appendToFile localfile1 localf
HDFS常见的问题和处理方法积累
欲问君有几多愁的博客
08-14 7086
Hadoop常见问题与解决办法问题1：reduce预处理阶段shuffle时获取已完成的map的输出失败次数超过上限问题描述：问题剖析：解决方案:问题2：Too many fetch-failures问题描述：问题剖析：解决方案:问题3：处理MR速度特别的慢问题描述：问题剖析：解决方案:问题4：能够启动datanode，但无法访问，也无法结束问题描述：问题剖析：解决方案:问题5：节点断联问题描述：...
“hdfs dfs -ls”命令的使用
一见
04-17 9708
“hdfs dfs -ls”带一个参数，如果参数以“hdfs://URI”打头表示访问HDFS，否则相当于ls。 其中URI为NameNode的IP或主机名，可以包含端口号，即hdfs-site.xml中“dfs.namenode.rpc-address”指定的值。 “hdfs dfs -ls”要求默认端口为8020，如果配置成9000，则需要指定端口号，否则不用指定端口，这一点类似于浏览
实训任务02：Hadoop基础操作.md
qq_37451173的博客
10-05 1538
实训任务02：Hadoop基础操作 实训1:创建测试文件上传HDFS,并显示内容 需求说明： 在本地计算机上创建测试文件helloHadoop.txt,输入任意3行记录。将helloHadoop.txt上传到HDFS目录/user/root/filetest/下，并以HDFS命令显示 它的内容（提示：HDFS目录/user/root/filetest并不存在，因此需要先创建它。 实现思路及步骤： ...
指导手册01：安装Hadoop.md
qq_37451173的博客
10-05 396
指导手册01：安装Hadoop CentOS-6.8 Part 1:安装及配置虚拟机 1. 安装Linux. （1）打开VMvirtualBox （2） 控制->新建虚拟机，输入虚拟机名称“marst+学号” 类型：Linux，版本：other Linux(64-bit) CentOS-6.8-x86_64-bin-DVD1 （3）内存建议1024M, 创建虚拟盘VHD虚拟硬盘，动态分配，硬...
指导手册06：HBase安装部署.md
qq_37451173的博客
10-05 359
指导手册06：HBase安装部署 配置环境 1.参考文件： https://www.cnblogs.com/lzxlfly/p/7221890.html https://www.cnblogs.com/sixiweb/archive/2013/02/20/2919305.html 2.操作系统：centos 3.四台虚拟机：master :10.0.2.4, slave1:10.0.2.5,sla...
指导手册04：运行MapReduce.md
qq_37451173的博客
10-05 263
指导手册04：运行MapReduce Part 1:运行单个MapReduce任务 情景描述： 本次任务要求对HDFS目录中的数据文件/user/root/email_log.txt进行计算处理，统计出第个用户的登录次数。 情景分析：统计出每个用户登录次数，等同于求出每个email出现的次数，可以进一步抽象为统计每个单司出现的频次。在Hadoop官方提供的示例包中，正好有进行记频统计的模块。 1．...
机器学习(Machine Learning)&深度学习(Deep Learning)资料
weixin_30756499的博客
07-07 1万+
##机器学习(Machine Learning)&深度学习(Deep Learning)资料(Chapter 1)---#####注:机器学习资料[篇目一](https://github.com/ty4z2008/Qix/blob/master/dl.md)共500条,[篇目二](https://github.com/ty4z2008/Qix/blob/master/dl2.md)开始更新...
Hadoop大数据开发基础课后答案
BIPT919的博客
06-10 1万+
Hadoop大数据开发基础课后答案(仅供参考)
Hadoop常用命令及范例
weixin_30951389的博客
07-03 162
　　hadoop中的zookeeper，hdfs,以及hive，hbase都是hadoop的组件，要学会熟练掌握相关的命令及其使用规则，下面就是一些常用命令及对hbase和hive的操作语句，同时也列出了一些范例。 　　start-dfs.sh 　　NameNode 进程启动:hadoop-daemon.sh start namenode 　　DataNode 进程启动:hadoo...
Hadoop集群的基本操作（一：HDFS操作及MapReduce程序练习）
Eyeshot的博客
05-27 3137
实验 目的 要求 目的： 理解HDFS在Hadoop体系结构中的角色； 熟练使用HDFS操作常用的Shell命令； 了解Hadoop集群MapReduce程序的简单使用； （上传WordCount的jar执行程序；使用WordCount进行MapReduce计算） 要求： 完成Hadoop的高可用完全分布模...
100道hadoop常见面试题及答案解析
hni_94的博客
04-02 7470
1 单选题 1.1 下面哪个程序负责 HDFS 数据存储。 a)NameNode b)Jobtracker c)Datanode d)secondaryNameNode e)tasktracker 答案 C datanode 1.2 HDfS 中的 block 默认保存几份？ a)3 份 b)2 份 c)1 份 d)不确定 答案 A 默认 3 分 1.3 下列哪个程序通常与 NameNode 在一...
大数据-实验2 熟悉常用的HDFS操作
huang_yuqing_的博客
04-10 1770
1、向HDFS中上传任意文件，如果指定的文件在HDFS中已经存在，由客户指定是追加到原有文件末尾还是覆盖原有文件。 首先，打开Hadoop系统，进入Hadoop下，但是当你输入以Hadoop开头的命令时，出现以下错误，原因是没有启动Hadoop的代码块 此时用sbin/start-dfs.sh和 sbin/start-yarn.sh这两个命令打开。 接下来自己写入两个文件： 当echo $?命令输出为0是文件才是上传到，appendToFile 和 copyFromLocal 分别是追加和覆盖的命令
Linux上传本地文件到Hadoop的HDFS文件系统
热门推荐
zhangvalue的博客
06-12 9万+
记录如何将本地文件上传至HDFS中 前提是已经启动了hadoop成功（nodedate都成功启动） ①先切换到HDFS用户 ②创建一个input文件夹 zhangsf@hadoop1:~$ hdfs dfs -mkdir /input 多级创建的时候 hdfs dfs -mkdir -p /wifi/classify 查看创建的文件夹在 hadoop1:50070中查看（我自己的对...
Hadoop上传文件到hdfs中
蹊源的奇思妙想的博客
08-27 4万+
hadoop常见指令： hdfs dfs -copyFromLocal /local/data /hdfs/data：将本地文件上传到 hdfs 上（原路径只能是一个文件） hdfs dfs -put /tmp/ /hdfs/ ：和 copyFromLocal 区别是，put 原路径可以是文件夹等 hadoop fs -ls / ：查看根目录文件 hadoop fs -ls /tmp/da...
集群HDFS文件的操作（Shell）
叁木大数据
12-15 2028
集群HDFS文件的操作（Shell）1.基本语法2.一些帮助理解的例子2.1命令执行条件（启动集群）2.2查看常用命令2.3查看单个命令详情2.4一些思考 1.基本语法 1.既能操作分布式也能操作本地:bin/hadoop fs 具体命令 2.只能操作分布式:bin/hdfs dfs 具体命令 注：如果配了hadoop的环境变量可以省去bin/ 2.一些帮助理解的例子 2.1命令执行条件（启动集群...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值