![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
WSX_ton
这个作者很懒,什么都没留下…
展开
-
大数据基础知识之hadoop
Hadoop 目录 Hadoop的介绍以及发展历史 Hadoop三大公司发型版本介绍 Hadoop的架构模型(1.x,2.x的各种架构模型介绍) 一. Hadoop的介绍以及发展历史 Hadoop之父Doug Cutting Hadoop最早起源于lucene下的Nutch。Nutch的设计目标是构建一个大型的全网搜索引擎,包括网页抓取、索引、查询等功能,但随着抓取网页数量的增加,遇到了严...原创 2019-11-03 10:48:40 · 582 阅读 · 1 评论 -
hadoop之MapReduse_02
MapReduse(分布式计算框架)一、MapReduce 并行计算二、Hadoop -MapReduce设计构思三、MapReduce 编程基础pom文件配置(idea开发) 一、MapReduce 并行计算 HDFS存储数据时对大于128M的数据会进行数据切分,每128M一个数据块,数据块会分散、分布存储到HDFS。 MapReduce在进行计算前会复制计算程序,每个数据块会分配一个独立的计算...原创 2019-11-18 20:56:03 · 253 阅读 · 0 评论 -
hadoop之MapReduse_01
MapReduse(分布式计算框架)什么是计算框架?什么是并行计算框架?什么是分布式计算?Hadoop为什么比传统计算方案快理解MapReduce思想 什么是计算框架? 是指实现某项任务或某项工作从开始到结束的计算过程或流的结构。用于去解决或者处理某个复杂的计算问题。 什么是并行计算框架? 是指为更快的计算某项任务或某项工作,将计算程序分发到多台服务器上,使每个服务器计算总任务的一部分,多台服务...原创 2019-11-12 14:53:31 · 433 阅读 · 0 评论