hdfs
文章平均质量分 84
vip2193
这个作者很懒,什么都没留下…
展开
-
Hadoop大数据入门到实战(第三节) - HDFS文件系统
本小节我们来学习Hadoop的HDFS系统,我们先来体验一下HDFS然后再来了解他的原理。HDFS初体验HDFS(分布式文件管理系统),故名思议,它就是我们用来管理海量文件的一个系统。现在是一个数据量爆炸的时代,普通的操作系统管辖不了这么多文件,那么就需要分配到更多文件系统的磁盘中,但是这样又不利于管理和维护,所以我们迫切的需要一个系统来管理多台机器上的文件,分布式文件管理系统就应运而...原创 2018-05-29 23:00:51 · 2066 阅读 · 0 评论 -
Hadoop大数据入门到实战(第四节) - HDFS文件系统(使用)
这一小节我们来学习:1.HDFS的设计,2.HDFS常用命令。HDFS的设计分布式文件系统客户:帮我保存一下这几天的数据。程序猿:好嘞,有多大呢?客户:1T。程序猿:好没问题,买个硬盘就搞定了。一个月后…客户:帮我保存下这几个月的数据。程序猿:好嘞,这次有多大呢?客户:1024T。哇,这么大吗?没有这么大的硬盘买呀,而且好像也没听过一台计算机可以...原创 2018-08-21 13:29:22 · 4292 阅读 · 3 评论 -
Hadoop大数据入门到实战(第五节) - HDFS文件系统(JavaApi)
本节内容本节我们重点来学习HDFS系统提供的JavaApi,首先我们要深入探索Hadoop的FileSystem类,它是与Hadoop的某一文件系统进行交互的API。我们先来学习并掌握:1.FileSystem对象的使用,2.FSDataInputSteam对象的使用。如果你想要在windows下调试编写Hadoop程序,可以查看这篇帖子: https://www.jianshu...原创 2018-08-21 13:31:09 · 748 阅读 · 0 评论 -
Hadoop大数据入门到实战(第六节)- HDFS文件系统(JavaApi)
上一小节我们学习了FileSystem类的基本使用,本小节我们首先来学习使用API来完成文件的上传,要使用javaAPI来上传文件至集群我们需要使用到FSDataInputStream对象。FSDataInputStream我们知道在Java中要将数据输出到终端,需要文件输出流,HDFS的JavaAPI中也有类似的对象。 FileSystem类有一系列新建文件的方法,最简单的方法是给...原创 2018-08-21 13:32:29 · 1217 阅读 · 0 评论 -
Hadoop大数据入门到实战(第七节)- Mapreduce的使用
MapReduce是Hadoop的核心功能之一,我们首先需要弄明白MapReduce到底是个啥,是干啥子用滴才行。什么是MapReduceMapReduce是一种可用于数据处理的编程模型,我们现在设想一个场景,你接到一个任务,任务是:挖掘分析我国气象中心近年来的数据日志,该数据日志大小有3T,让你分析计算出每一年的最高气温,如果你现在只有一台计算机,如何处理呢?我想你应该会读取这些数据...原创 2018-08-21 13:33:11 · 2880 阅读 · 1 评论