hadoop-3.0.0-beta1运维手册（008）：hdfs3.0.0基本操作-查看HDFS文件系统、查看文本文件、使用帮助

最新推荐文章于 2018-12-31 00:37:01 发布
最新推荐文章于 2018-12-31 00:37:01 发布
阅读量843 收藏 1
点赞数
分类专栏： Hadoop 运维 文章标签： hadoop3.0 hdfs分布式搭建 hdfs3.0 hadoop分布式搭建 hdfs命令
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/aishuc/article/details/78734553
版权
本文介绍了在hadoop-3.0.0中如何查看HDFS系统信息，包括容量、空间使用情况和节点状态。同时，讲解了如何查看文本文件内容、获取命令帮助以及在HDFS中查找文件或目录。内容详细，适用于hadoop新手及运维人员。
摘要由CSDN通过智能技术生成

写在前面的话

Hdfs采用分布式架构，为上层的应用和用户提供可扩展、高吞吐、高可靠的数据存储服务。在整个Hadoop生态系统中，hdfs处于最底层，也是最无可替代的一个基础设施。从2008年hadoop-0.10.1版本开始到现在的hadoop-3.0.0-beta1，hdfs已经走过了近10个年头，其架构和功能特性也发生了巨大的变化。特别是hdfs3.0.0系列，和hdfs2.x相比，增加了基于纠删码（erasure encoding）的容错方式，与传统的副本方式相比，在同等可用性的情况下， 能大幅节省一半以上的空间，这也是自hdfs诞生近这十年来，数据可靠性机制上的一个重大变化（之前一直都是副本容错方式）。此外hdfs3.0.0还增加了其它的一些特性，例如在Namenode HA中支持3个Namenode，可以容忍2个Namenode失效，而hdfs2.x只能容忍1个Namenode失效。

本文以

最低0.47元/天 解锁文章
艾叔
关注
专栏目录
hadoop-3.0.0-beta1运维手册（002）：安装Guest操作系统
aishuc的博客
11-28 526
2.1 什么是Guest操作系统 Guest指虚拟机，安装Guest操作系统，就是在我们刚才定制的虚拟机nn1上安装操作系统。 我们要安装的操作系统是Linux，它有很多发行版，在这里我们选择Centos系列，它主要用作服务器操作系统，非常稳定，在生产环境中应用广泛。具体版本是Centos 7，64位，下载地址为：CentOS-7-x86_64-Everything-1511。整个光盘有7
Hadoop操作手册
08-27
Hadoop 入门操作手册，配置Hadoop操作环境，简单上手，适合入门学习。
hadoop 基本操作手册
热门推荐
少说，多做
05-12 2万+
####hdfs ./bin/hdfs dfs -mkdir /user ./bin/hdfs dfs -mkdir /user/Administrator ./bin/hdfs dfs -chmod 777 /user/Administrator bin/hadoop dfs -put /home/logonuser/hadoop-2.6.0/aa.txt /lbda/ bin/hadoop
hadoop-3.0.0-beta1运维手册（001）：定制虚拟机
aishuc的博客
11-27 573
01 定制虚拟机 1.1 什么是虚拟机 虚拟机是一个软件，运行在我们的计算机上，通过它可以模拟一台计算机。 虚拟机和真实的物理机器一样，也有CPU、硬盘、网卡、内存这些硬件，在虚拟机上同样可以安装操作系统，操作系统安装好后，使用起来和真实的机器基本一样。 利用虚拟机软件，我们可以在一台物理服务器上运行多个虚拟机，从而模拟多机环境，既经济又方便。 定制虚拟机的就是根据我们自己的需要，来配置
hadoop-3.0.0-beta1运维手册（003）：安装全分布式HDFS3.0.0-准备软件和配置CentOS网络
aishuc的博客
11-29 783
3.1 准备软件 HDFS是Hadoop的一个组件，它并没有单独发布，因此，我们需要下载Hadoop的安装包。 1. 下载Hadoop3.0.0-beta1，保存到d:\hdfs3\soft 3-1 Hadoop存储路径图 有关beta1版本的介绍：它是API稳定的版本，但不保证质量，并且不打算用于生产环境。因此，此版本可以用来提前学习，待stable版本出来后，可以直接替换上生产环境
hadoop-3.0.0-beta1运维手册（011）：HDFS Erasure Coding纠删码使用
aishuc的博客
12-06 5076
写在前面的话 Hdfs采用分布式架构，为上层的应用和用户提供可扩展、高吞吐、高可靠的数据存储服务。在整个Hadoop生态系统中，hdfs处于最底层，也是最无可替代的一个基础设施。从2008年hadoop-0.10.1版本开始到现在的hadoop-3.0.0-beta1，hdfs已经走过了近10个年头，其架构和功能特性也发生了巨大的变化。特别是hdfs3.0.0系列，和hdfs2.x相比，增加了基
hadoop-3.0.0.tar.gz
02-24
Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）来访问应用程序的数据...
hadoop-3.0.0-winUtils.rar
11-22
如果本机操作系统是 Windows，在程序中使用了 Hadoop 相关的东西，比如写入文件到HDFS，则会遇到如下异常：could not locate executable null\bin\winutils.exe ，使用这个包，设置一个 HADOOP_HOME 环境变量，即可...
hadoop使用手册
03-03
全面教你在Linux上使用hadoop 启动与关闭 启动HADOOP 1. 进入HADOOP_HOME目录。 2. 执行sh bin/start-all.sh 单个起 ：/opt/hadoop-1.0.3/bin/hadoop-daemon.sh start datanode /opt/hadoop-1.0.3/bin/hadoop-daemon.sh start tasktracker 关闭HADOOP 1. 进入HADOOP_HOME目录。 2. 执行sh bin/stop-all.sh 查看MapReduce程序进程
hadoop集群维护手册.pdf
07-14
hadoop集群维护手册.pdf
Hadoop运维12问--应急手册(中国程序员)
11-15
Hadoop运维12问--应急手册(中国程序员) Hadoop运维12问--应急手册(中国程序员)
hadoop相关组件命令行操作手册
01-12
HDFS,HBase,Hive,Zookeep,Yarn,HadoopLoader,Storm,Kafka,Spark等命令实例，系统全面。
Linux运维入门Hadoop实验参照手册二（安装Hadoop）
03-08
Linux运维入门Hadoop实验参照手册二（安装Hadoop）
hadoop-3.0.0-beta1运维手册（007）：hdfs3.0.0基本操作-上传、下载、删除文件或目录
aishuc的博客
12-06 659
写在前面的话 Hdfs采用分布式架构，为上层的应用和用户提供可扩展、高吞吐、高可靠的数据存储服务。在整个Hadoop生态系统中，hdfs处于最底层，也是最无可替代的一个基础设施。从2008年hadoop-0.10.1版本开始到现在的hadoop-3.0.0-beta1，hdfs已经走过了近10个年头，其架构和功能特性也发生了巨大的变化。特别是hdfs3.0.0系列，和hdfs2.x相比，增加了基
hadoop-3.0.0-beta1运维手册（011）：HDFS Erasure Coding纠删码
weixin_33819479的博客
08-28 275
转自：https://blog.csdn.net/aishuc/article/details/78734572 Hdfs采用分布式架构，为上层的应用和用户提供可扩展、高吞吐、高可靠的数据存储服务。在整个Hadoop生态系统中，hdfs处于最底层，也是最无可替代的一个基础设施。从2008年hadoop-0.10.1版本开始到现在的hadoop-3.0.0-beta1，hdfs...
hadoop-3.0.0-beta1运维手册（006）：hdfs3.0.0分布式构建-启动hdfs
aishuc的博客
12-04 995
写在前面的话 Hdfs采用分布式架构，为上层的应用和用户提供可扩展、高吞吐、高可靠的数据存储服务。在整个Hadoop生态系统中，hdfs处于最底层，也是最无可替代的一个基础设施。从2008年hadoop-0.10.1版本开始到现在的hadoop-3.0.0-beta1，hdfs已经走过了近10个年头，其架构和功能特性也发生了巨大的变化。特别是hdfs3.0.0系列，和hdfs2.x相比，增加了基
Hadoop运维12问--应急手册(中国程序员) - 电子书下载（高清版PDF格式+EPUB格式）...
测试
12-31 344
Hadoop运维12问--应急手册(中国程序员)-向磊在线阅读百度网盘下载(d4no)书名:Hadoop运维12问--应急手册(中国程序员)作者:向磊格式:EPUB, HTMLZ, PDF路径:点击打开排序作者:向磊排序书名:Hadoop运维12问--应急手册(中国程序员)日期:08 12月 2018uuid:f110e895-5b...
Hadoop-hdfs安装时，环境变量配置需要的winutlis.exe
最新发布
05-23
在安装Hadoop-hdfs时，需要配置环境变量，其中包括winutils.exe。这是因为Hadoop在Windows上运行时需要使用到一些Unix命令，在Windows上没有自带的。winutils.exe是一个Windows版本的Unix工具集，可以提供Hadoop运行所需要的一些Unix命令。 你可以通过以下步骤获取winutils.exe： 1. 访问 https://github.com/steveloughran/winutils/tree/master/hadoop-3.0.0/bin 下载winutils.exe 2. 将下载的winutils.exe文件复制到Hadoop的bin目录下 3. 配置环境变量，在系统变量中添加以下变量： - HADOOP_HOME：指向Hadoop的安装目录 - Path：在原有的Path变量后面加上%HADOOP_HOME%\bin 完成上述步骤后，你就可以在Windows上成功安装并运行Hadoop-hdfs了。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值