hadoop深入浅出
文章平均质量分 79
专业讲解hadoop相关知识,包括但不限于HDFS,MapReduce,Hive,HBase等知识
你所有承诺
这个作者很懒,什么都没留下…
展开
-
大数据学习篇:hadoop深入浅出系列之HDFS(五) ——httpFS访问
前面我们讲了HDFS的shell操作,今天讲的是HDFS的httpFS访问,由于还没有研究透彻,先立个文章放这,以后 编辑文件httpfs-env.sh 执行sbin/httpfs.sh 执行命令curl -i "http://192.168.1.213:14000/webhdfs/v1?user.name=root&op=LISTSTATUS" 更多命令参考http://hado原创 2015-09-26 12:13:00 · 2020 阅读 · 0 评论 -
大数据学习篇:hadoop深入浅出系列之HDFS(四)——shell操作
上一篇我们讲了HDFS的读文件和写文件,今天我们来讲HDFS的shell操作。 首先,我们进入到hadoop文件夹下,然后输入bin/hdfs命令,我们能发现有很多提示信息,Usage: hdfs [--config confdir] COMMAND where COMMAND is one of 这句话的大致意思就是说hdfs后面要跟命令,我们之前格式化namenode执行的命原创 2015-09-25 23:33:48 · 1227 阅读 · 3 评论 -
大数据学习篇:hadoop深入浅出系列之HDFS(三) ——HDFS读文件和写文件
上一篇讲了HDFS的体系结构,今天这篇,我们来讲讲HDFS的读和写。 一:读文件 1.首先调用FileSystem对象的open方法,其实是一个DistributedFileSystem的实例 2.DistributedFileSystem通过rpc获得文件的第一批个block的locations,同一block按照重复数会返回多个locations,这些locations按照hadoo原创 2015-09-23 00:03:43 · 1470 阅读 · 1 评论 -
大数据学习篇:hadoop深入浅出系列之HDFS(二)——HDFS体系结构
上一篇文章,我们说了HDFS的简介和优缺点,这篇文章我们来探讨下HDFS的体系结构 先上一张美图供大家欣赏。 通过这张图,我们可以清晰的看到HDFS的体系结构,client,NameNode,DataNode等,进入到hdf文件下也可以看到几个对应的文件夹(如下图) 这个路径是可变的,具体查看配置文件hdfs-site.xml中dfs.namenode.name.dir和dfs.原创 2015-09-22 01:11:23 · 1612 阅读 · 0 评论 -
大数据学习篇:hadoop深入浅出系列之HDFS(一)——HDFS简介和优缺点
上一篇,我们说了hadoop的伪分布式安装,今天我们来说说著名的HDFS HDFS,顾名思义 Hadoop Distributed File System,至于它的来历我就不说了,网上比比皆是。 随着数据量越来越多,在一个操作系统管辖的范围存不下了,那么就分配到更多的操作系统管理的磁盘中,但是不方便管理和维护,因此迫切需要一种系统来管理多台机器上的文件,这就是分布式文件管理系统 。原创 2015-09-20 23:24:49 · 5370 阅读 · 1 评论