hadoop
晏十一的实验室
吃得咸看得淡
展开
-
Hive-1-基础
Hadoop 简介 Hadoop是一个开源框架来存储和处理大型数据在分布式环境中。包含两个模块,一个是MapReduce,另一个是Hadoop分布式文件系统(HDFS)。 MapReduce:是一种并行编程模型,在大型集群普通硬件可用于处理大型结构化,半结构化和非结构化数据。 HDFS:Hadoop分布式文件系统是Hadoop框架的一部分,用于存储和处理数据集。提供了一个容错文件系统在普通硬...原创 2019-12-07 15:15:20 · 147 阅读 · 0 评论 -
hadoop-1-简介
hadoop简介 1、hadoop适用场景 适合:大规模数据、流式数据(写一次,读多次);商用硬件 不适合:低延时的数据访问;大量的小文件;频繁修改文件(基本就是写一次) 2、hadoop架构 hdfs:分布式文件存储; yarn:分布式资源管理; mapreduce:分布式计算; others:利用yarn的资源管理功能实现其他的数据处理方式。 3、hdfs 3.1、简介 分布式文...原创 2019-06-04 20:03:54 · 250 阅读 · 0 评论