![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
文章平均质量分 90
LengDanRan
生命在于运动,生活在于平衡。
小主致力学习,仍在不断进步。
欢迎关注个人公众号【然Coder】
Java资源分享+技术文章,持续更新推送
如有问题,欢迎【然Coder】私信哦
展开
-
HDFS打开文件的流程——源码梳理
文件的读取流程我们一般使用FileSystem来打开HDFS中的一个文件,使用open()方法。对于HDFS来说,FileSystem是由其子类DistributeFileSystem的一个实例来完成的:我们可以进入其open()方法中:首先,DistributeFileSystem对象会对当前的读线程进行计数,这就跳过哈。然后就会将输入的路径进行转化一下,变成绝对路径,然后,会通过一个RPC远程服务调用和NameNode进行通讯,NameNode会返回文件块的起始位置,还有包含当前文件块的副本原创 2021-10-06 20:50:34 · 950 阅读 · 0 评论 -
HDFS概述
HDFS是以流式数据访问的模式来存储超大文件的一个文件系统,运行与集群上。流式数据访问:HDFS的构建思路是这样的:一次写入、多次读取是比较高效的访问模式。运行与商用的硬件中:商用的硬件在生产环境中出现故障的概率是比较大的。HDFS对数据进行数据备份,一般来讲,一份存储在HDFS集群中数据会有3份副本存储在不同的集群节点上,保证了单点数据损失的问题,HDFS保证了在集群中其中的节点发生故障后仍然可以稳定的运行,用户丝毫没有察觉。不适合低时延的数据访问:HDFS是为高数据吞吐量设计的,会以提高数据的访原创 2021-10-06 20:41:08 · 528 阅读 · 0 评论 -
Docker搭建启动Hadoop3.3.0集群
Hadoop配置Docker安装docker$ yum install docker设置开机自启Docker$ systemctl enable docker启动Docker$ systemctl start docker查看docker版本[root@VM-16-13-centos ~]$ docker -v"Docker version 1.13.1, build 0be3e21/1.13.1"docker 配置阿里云镜像加速sudo mkdir -p /etc/dock原创 2021-01-04 14:18:58 · 1903 阅读 · 8 评论