HDFS
dream0352
即使是不成功的尝试,也胜于胎死腹中的策略。
凭着青春对梦想的追求,在未来的路上越走越好!
展开
-
1.HDFS简介
什么是HDFS Hadoop DISTRIBUTED FILE SYSTEM,简称HDFS,是一个分布式文件系统。它是谷歌的GFS提出之后出现的另外一种文件系统。它有一定高度的容错性,而且提供了高吞吐 量的数据访问,非常适合大规模数据集上的应用。HDFS 提供了一个高度容错性和高吞吐量的海量数据存储解决方案。HDFS是Apache Hadoop Core项目的一部分。 HDFS原创 2017-02-27 10:03:17 · 792 阅读 · 0 评论 -
2.HDFS基本原理
一、HDFS架构 1、NameNode 2、DataNode 3、Sencondary NameNode 二、namenode 1.是整个文件系统的管理节点。它维护着整个文件系统的文件目录树,文件/目录的元信息和每个文件对应的数据块列表。接收用户的操作请求。 2.namenode保存元数据信息,文件包括: fsimage:元数据镜像文件。存储某一时段NameNode内存元原创 2017-02-27 10:03:52 · 731 阅读 · 0 评论 -
3.HDFS之shell基本操作
FS Shell 调用文件系统(FS)Shell命令应使用 bin/hadoop fs 的形式。 所有的的FS shell命令使用URI路径作为参数。URI格是scheme://authority/path。对HDFS文件系统,scheme是hdfs,对本地文件系统,scheme是file。其中scheme和authority参数都是可选的,如果未加指定,就会使用配置中指定的默认sche原创 2017-02-27 10:04:49 · 413 阅读 · 0 评论 -
4.HDFs之java接口简单示例
HDFS是文件系统,就可以对其文件进行操作,比如说新建、删除、读取文件内容等操作。下面使用JAVA API对HDFS中的文件进行操作的过程。 对分HDFS中的文件操作主要涉及一下几个类: Configuration类:该类的对象封转了客户端或者服务器的配置。 FileSystem类:该类的对象是一个文件系统对象,可以用该对象的一些方法来对文件进行操作。原创 2017-02-27 10:05:59 · 471 阅读 · 0 评论