![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
HDFS
文章平均质量分 59
道法—自然
不积跬步,无以至千里;不积小流,无以成江海。——荀子
展开
-
HDFS读写数据的流程
一、HDFSHDFS全称是Hadoop Distributed System。HDFS是为以流的方式存取大文件而设计的。适用于几百MB,GB以及TB,并写一次读多次的场合。而对于低延时数据访问、大量小文件、同时写和任意的文件修改,则并不是十分适合。目前HDFS支持的使用接口除了Java的还有,Thrift、C、FUSE、WebDAV、HTTP等。HDFS是以block-sized chun...原创 2018-09-11 20:51:23 · 3363 阅读 · 0 评论 -
hdfs的基本操作
从hdfs上下载文件的命令:hdfs dfs -get /user/root/data/wc/* ./上传文件的命令:hdfs dfs -put ./test.txt /user/root/data/wc/[root@node11 ~]# hdfs dfs -ls ./test.txt /user/root/data/wc/output01-rw-r--r-- 2 root...原创 2018-12-26 23:23:59 · 200 阅读 · 0 评论 -
使用Linux上传文件
使用Linux命令上传文件,过程如下。 su hdfs //切换到HDFS用户cd /home/hdfs/files //进入到服务器中文件所在目录ls //查看此目录下的文件列表vim test.txt //若文件存在可显示文件中的内容,若不存在则新建文件注:按“i”键可进入编辑器,可直接修改...原创 2018-12-26 23:17:34 · 239 阅读 · 0 评论 -
hadoop单机方式的安装
hadoop单机模式的安装:1、安装jdk配置环境变量:2、设置免秘钥: [root@node11 ~]# ssh-keygen -t dsa -P '' -f /root/.ssh/id_dsaGenerating public/private dsa key pair.Your identification has been saved in /root/.ss...原创 2018-12-20 21:59:17 · 6137 阅读 · 1 评论 -
hadoop学习——namenode的fsimage与editlog详解
Namenode主要维护两个文件,一个是fsimage,一个是editlog。fsimage保存了最新的元数据检查点,包含了整个HDFS文件系统的所有目录和文件的信息。对于文件来说包括了数据块描述信息、修改时间、访问时间等;对于目录来说包括修改时间、访问权限控制信息(目录所属用户,所在组)等。editlog主要是在NameNode已经启动情况下对HDFS进行的各种更新操作进行记录,HDFS...原创 2018-12-02 15:52:42 · 958 阅读 · 0 评论 -
HDFS读写流程
HDFS读写流程一: HDFS读文件流程 1:Client通过FileSystem.open(filePath)方法,去与Namenode进行rpc通信,返回该文件的部分或全部的block列表( 也包含该列表各 block 的分布在 Datanode 地址的列表),也就是返回FSDataInputStream对象; 2:Client调用FSDataInputStream对象的...原创 2018-12-01 23:59:41 · 226 阅读 · 0 评论 -
fsimage与editlog详解
1 概述HDFS中的NameNode被称为元数据节点DataNode称为数据节点。NameNode维护了文件与数据块的映射表以及数据块与数据节点的映射表,而真正的数据是存储在DataNode上。 对于NameNode如何存储这些信息,它维护两个文件,一个是fsimage,一个是editlog。2 fsimage与editlog作用fsimage保存了最新的元数据检查点,在HDFS启动时加...原创 2018-12-01 23:59:28 · 3077 阅读 · 0 评论 -
hdfs读取数据的流程
客户端通过调用FileSystem对象的open()来读取希望打开的文件。对于HDFS来说,这个对象是分布式文件系统的一个实例。 DistributedFileSystem通过RPC来调用namenode,以确定文件的开头部分的块位置。对于每一块,namenode返回具有该块副本的datanode地址。此外,这些datanode根据他们与client的距离来排序(根据网络集群的拓扑)。如果该cl...原创 2018-11-24 23:04:06 · 1158 阅读 · 0 评论 -
hdfs写入数据的流程
1、客户端通过调用distributedFileSystem调用ceate()方法创建文件2、distributedFileSystem对namenode创建一个PPC调用,去检查是否有这个文件,以及这个文件的权限,如果有这个文件,会返回IOException,如果没有就去创建这个文件。之后distributedFileSystem会返回给客户端DFSOutputStream对象,这个对象负责...原创 2018-11-24 22:48:43 · 3055 阅读 · 0 评论 -
hdfs中参数的配置
数据块的副本数 dfs.replication 3 2 页面修改 减少副本块可以节约存储空间 SequenceFile I/O 缓存区大小 io.file.buffer.size 131072(可以更大) core-site.xml 的群集范围高级配置代码段(安全阀) hadoop访问文件的IO操作都需要通过代码库,在...原创 2018-09-11 23:54:16 · 2640 阅读 · 0 评论 -
hdfs+yarn参数的调优
hdfs+yarn 参数调优1.系统参数调整中文名称 英文名称 默认值 推荐值或推荐策略 修改命令 作用 备注 socket的监听队列最大值 net.core.somaxconn 128 1024或更大 echo 1024 >/proc/sys/net/core/somaxconn 增大打开文件数据和网络连接上限,...原创 2018-10-05 09:06:46 · 693 阅读 · 0 评论 -
hadoop各个版本的介绍,以及他们的区别
原创 2018-09-11 21:58:55 · 11427 阅读 · 1 评论 -
HDFS读写文件的流程
原创 2018-09-11 21:35:17 · 147 阅读 · 0 评论 -
hadoop的三大核心之一:HDFS
默认:一个block的大小:64k一个namenode挂掉之后默认等待的时间:10分钟原创 2018-09-11 21:21:25 · 265 阅读 · 0 评论 -
hdfs中namenode及DataNode,源数据信息,读写文件的流程等
一、HDFS的基本概念1.1、数据块(block)HDFS(Hadoop Distributed File System)默认的最基本的存储单位是64M的数据块。 和普通文件系统相同的是,HDFS中的文件是被分成64M一块的数据块存储的。 不同于普通文件系统的是,HDFS中,如果一个文件小于一个数据块的大小,并不占用整个数据块存储空间。1.2、元数据节点(Namenode)和数据节点...原创 2018-09-11 21:05:20 · 3970 阅读 · 0 评论 -
hdfs单机版的安装
一、 准备机器机器编号 地址 端口1 10.211.55.8 9000、50070、8088二、 安装学习地址http://www.roncoo.com/course/view/5a057438cc2a4231a8c245695faea2381、 安装java环境 ...原创 2018-12-19 09:40:37 · 1600 阅读 · 0 评论