大数据/Hadoop
Anbang713
这个作者很懒,什么都没留下…
展开
-
Hadoop学习(16)-MapReduce的shuffle详解
原文来自:扎心了,老铁的《Hadoop学习之路(二十三)MapReduce中的shuffle详解》转载 2019-01-20 10:04:53 · 241 阅读 · 0 评论 -
Hadoop学习(15)-MapReduce求TopN
原文来自:扎心了,老铁的《Hadoop学习之路(二十)MapReduce求TopN》转载 2019-01-20 10:04:33 · 377 阅读 · 0 评论 -
Hadoop学习(14)-MapReduce框架排序
原文来自:扎心了,老铁的《Hadoop学习之路(十九)MapReduce框架排序》转载 2019-01-20 10:04:27 · 157 阅读 · 0 评论 -
Hadoop学习(13)-MapReduce框架的Combiner分区
原文来自:扎心了,老铁的《Hadoop学习之路(十八)MapReduce框架Combiner分区》截图较大,可另开窗口打开图片。转载 2019-01-20 10:04:13 · 131 阅读 · 0 评论 -
Hadoop学习(12)-MapReduce框架的Partitioner分区
原文来自:扎心了,老铁的《Hadoop学习之路(十七)MapReduce框架Partitoner分区》转载 2019-01-20 10:04:03 · 257 阅读 · 0 评论 -
Hadoop学习(11)-MapReduce的核心运行机制
原文来自:扎心了,老铁的《Hadoop学习之路(十四)MapReduce的核心运行机制》转载 2019-01-20 10:02:48 · 185 阅读 · 0 评论 -
Hadoop学习(10)-MapReduce的初识
原文来自:扎心了,老铁的《Hadoop学习之路(十三)MapReduce的初识》转载 2019-01-19 16:53:34 · 149 阅读 · 0 评论 -
Hadoop学习(9)-分布式集群中HDFS系统的各种角色
原文来自:扎心了,老铁的《Hadoop学习之路(十二)分布式集群中HDFS系统的各种角色》转载 2019-01-19 16:46:18 · 389 阅读 · 0 评论 -
Hadoop学习(8)-HDFS的读写详解
原文来自:扎心了,老铁的《Hadoop学习之路(十一)HDFS的读写详解》转载 2019-01-19 16:43:31 · 276 阅读 · 0 评论 -
Hadoop学习(7)-HDFS API的使用
原文来自:扎心了,老铁的《Hadoop学习之路(十)HDFS API的使用》转载 2019-01-19 16:40:15 · 306 阅读 · 0 评论 -
Hadoop学习(6)-HDFS深入理解
原文来自:扎心了,老铁的《Hadoop学习之路(九)HDFS深入理解》转载 2019-01-19 16:37:13 · 201 阅读 · 0 评论 -
Hadoop学习(5)-在Eclipse上搭建Hadoop开发环境
原文来自:扎心了,老铁的《Hadoop学习之路(八)在eclispe上搭建Hadoop开发环境》转载 2019-01-19 16:03:33 · 204 阅读 · 0 评论 -
Hadoop学习(4)-HDFS基础
原文来自:扎心了,老铁的《Hadoop学习之路(六)HDFS基础》一、HDFS前言HDFS:Hadoop Distributed File System ,Hadoop分布式文件系统,主要用来解决海量数据的存储问题。1.1、设计思想(1)分散均匀存储 dfs.blocksize = 128M;(2)备份冗余存储 dfs.replication = 3。1.2、在大数据系统中作用...转载 2019-01-19 14:57:04 · 173 阅读 · 0 评论 -
Hadoop学习(3)-Hadoop集群搭建模式和各模式问题
原文来自:扎心了,老铁的《Hadoop学习之路(五)Hadoop集群搭建模式和各模式问题》一、分布式集群的通病Hadoop的HDFS和YARN都是一主多从的分布式架构。那么如果主节点或是管理者宕机了,会出现什么问题?当然是群龙无首,整个集群不可用。当集群中的主节点宕机之后,整个集群不可用,我们称这个现象叫做:单点故障。1.1、单点故障的概念(1)如果说宕机的那个节点是从节点,那么整...转载 2019-01-19 12:18:13 · 183 阅读 · 0 评论 -
Hadoop学习(2)-Hadoop集群搭建和简单应用
原文来自:扎心了,老铁的《Hadoop学习之路(四)Hadoop集群搭建和简单应用》一、基本概念1、主从结构:在一个集群中,会有部分节点充当主服务器的角色,其他服务器都是从服务器的角色,当前这种架构模式叫做主从结构。主从结构分为两类:(1)一主多从;(2)多主多从。2、Hadoop中的HDFS和YARN都是主从结构,主从结构中的主节点和从节点有多重概念方式:(1)主节点 从节...转载 2019-01-19 11:46:39 · 484 阅读 · 0 评论 -
Hadoop学习(1)-Hadoop发展背景
原文来自:扎心了,老铁的《Hadoop学习之路(二)Hadoop发展背景》一、Hadoop产生的背景1、HADOOP最早起源于Nutch。Nutch的设计目标是构建一个大型的全网搜索引擎,包括网页抓取、索引、查询等功能,但随着抓取网页数量的增加,遇到了严重的可扩展性问题——如何解决数十亿网页的存储和索引问题。2、2003年开始谷歌陆续发表的三篇论文为该问题提供了可行的解决方案。(1...转载 2019-01-19 11:01:51 · 486 阅读 · 0 评论 -
Hadoop学习(17)-YARN的资源调度
原文来自:扎心了,老铁的《Hadoop学习之路(二十四)YARN的资源调度》转载 2019-01-20 10:05:01 · 173 阅读 · 0 评论