大数据
文章平均质量分 93
研究大数据技术交流
橙哥分享
这个作者很懒,什么都没留下…
展开
-
HDFS文件系统
(1)、产出背景随着数据量变得越来越大,在一个操作系统的磁盘已经存不下这些庞大的数据,所以需要存到多个操作系统的磁盘中,但是由于不方便管理,迫切需要一种系统可以管理多台机器上的文件,这就是分布式文件管理系统,HDFS就是分布式文件管理系统的一种。(2)、HDFS定义HDFS(Hdoop Distributed File System),它是一个文件系统,用于存储文件,通过目录树来定位文件;其次,它是分布式的,由很多服务器联合起来实现其功能,集群中的服务器有各自的角色;HDFS的使用场景:适合一次写入原创 2022-06-25 10:56:58 · 128 阅读 · 1 评论 -
一、Hadoop简单概述以及如何搭建集群
提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档文章目录前言一、Hadoop是什么?1.1 Hadoop是什么2.2 Hadoop发行的三大版本3.3 Hadoop优势3.4 Hadoop的组成3.5 HDFS架构概述3.6 YARN架构概述3.7 MapReduce架构概述二、Hadoop运行环境的搭建1.linux常用命令2.读入数据三、Hadoop运行模式四、常见的错误以及解决方式前言提示:这里可以添加本文要记录的大概内容:随着互联网的快速发展,以及5G时代开启高速流量,.原创 2022-06-08 21:07:37 · 87 阅读 · 0 评论