Hadoop
文章平均质量分 86
hadoop大数据
林中静月下仙
我们注定会变成另一个人、
展开
-
Hadoop系列之Hadoop分布式系统介绍
随着智能化、万物互联时代的快速发展,数据量开始暴增,一方面我们需要开始思考如何高效可靠地存储海量的数据,另一方面我们还需要对这些数据进行分析处理,以获得更多有价值的信息。这时期我们就需要用到Hadoop了。 Hadoop是Apache软件基金会下一个开源分布式计算平台,以hdfs(Hadoop Distributed File System)、MapReduce(Hadoop2.0加入了YARN,Yarn是资源调度框架,能够细粒度的管理和调度任务,还能够支持其他的计算框架,...原创 2021-11-30 17:26:48 · 343 阅读 · 0 评论 -
Hadoop系列之一:MAC安装Hadoop大数据框架
Hadoop是一个用Java开发的开源框架,它允许使用简单的编程模型在跨计算机集群的分布式环境中存储和处理大数据。它的设计是从单个服务器扩展到数千个机器,每个都提供本地计算和存储。特别适合写一次,读多次的场景。 Hadoop一般用于对大量数据执行完整统计分析的应用程序。 Hadoop架构图: HDFS:分布式文件系统 Hadoop Distributed File System YARN:分布式资源管理和作业调度 MapReduce:分布式计算 Hadoop的搭建有三种方...原创 2021-11-12 18:55:13 · 2513 阅读 · 0 评论