![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
文章平均质量分 82
eternity_zzy
java程序猿的大数据学习之路!
展开
-
7.《hadoop实战》MapReduce任务的shuffle 和排序
map的输出会经过一个名为shuffle的过程交给reduce处理, 当然也有map的结果经过sort-merge交给reduce处理的。其实在MapReduce流程中, 为了 让 reduce可以并行处理map结果, 必须对map的输出进行一定的排序和分割 , 然后再交给对应的 reduce, 而这个将map输出进行进 一步整理并交给reduce的过程就成 为了shuffle。从...原创 2018-12-17 20:36:59 · 427 阅读 · 0 评论 -
6.1《hadoop实战》MapReduce任务的执行总流程之错误处理机制
众所周知, Hadoop有很强的容错性。 这主要是针对由成千上万台普通机器组成的 集群 中常态化的硬件故障的, Hadoop能够利用冗余数据方式来解决硬件故障, 以保证数据安全和任务执行。 那么MapReduce在具体执行作业过程中遇到硬件故障会如何处理呢?对于用 户代码的缺陷或进程崩溃引起的错误又会如何处理呢?1.硬件故障 从MapReduce任务的执行角度出发, 所涉及的...原创 2018-12-17 17:12:54 · 423 阅读 · 0 评论 -
6.《hadoop实战》MapReduce任务的执行总流程
一个MapReduce作业的执行流程是: 代码编写→作业配置→ 作业提交→Map 任务的分配和执行→处理中间结果→Reduce任务的分配和执行→作业完成, 而在每个任务的执行过程中, 又包含输入准备-任务执行斗输出结果。上图给出了MapReduce作业详细的执行流程 图。 从图中可以看出MapReduce作业的执行可以分为11个步骤,涉及4个独立的实体。 它们在MapReduce 执行过程...原创 2018-12-17 16:15:21 · 252 阅读 · 0 评论 -
2.《hadoop实战》HDFS和MapReduce体系结构
一).HDFS的体系结构 HDFS采用了主从(Master/Slave)结构模型,一个HDFS集群是由一个NarneNode和若干个DataNode组成的。其中NameNode作为主服务器, 管理文件系统的命名空间和客户端对文件的访问操作:集群中的DataNode管理存储的数据。 HDFS允许用户以文件的形式存储数据。从内部来看,文件被分成若干个数据块,而且这若干个数据块存放在一组Da...原创 2018-12-03 17:20:39 · 429 阅读 · 0 评论 -
1.《hadoop实战》Hadoop子项目及其结构
现在Hadoop已经发展成为包含多个子项目的集合。 虽然其核心内容是MapReduce和 Hadoop分布式文件系统(HDFS), 但Hadoop下的Common、Avro、Chukwa, Hive、HBase等子项目也是不可或缺的。 它们提供了互补性服务或在核心层上提供了更高层的服务。l ) Core/Common :从Hadoop0.20版本开始,HadoopCore项目便更各为Commo...原创 2018-12-03 16:49:18 · 836 阅读 · 0 评论 -
5.3.《hadoop实战》Hadoop数据管理之Hive
Hive是建立在Hadoop上的数据仓库基础构架。 它提供了一系列的工具, 用来进行数据提取 、 转化、 加载, 这是一种可以存储、 查询和分析存储在Hadoop中的大规模数据的机制。 Hive定义了简单的类SQL查询语言, 称为 QL, 它允许熟悉SQL的用户查询数据。 作为一 个数据仓库 ,Hive的数据管理按照使用层次可以从元数据存储、 数据存储和数据交换三个方面来介绍。...原创 2018-12-12 17:49:43 · 178 阅读 · 0 评论 -
5.2.《hadoop实战》Hadoop数据管理之HBase
HBase是一个类似Bigtable的分布式数据库,它的大部分特性和Bigtable一样,是一个稀疏的、长期存储的(存在硬盘上〉、多维度的排序映射表.这张表的索引是行关键字、列关键字和时问戳。每个值是一个不解释的字符数组,数据都是字符扇,没有类型。用户在 表格中存储数据,每一行都有一个可排序的主键和任意多的列。由于是稀疏存储的,所以 同一张表里面的每一行数据都可以有截然不同的列。列...原创 2018-12-05 20:42:27 · 148 阅读 · 0 评论 -
5.1.《hadoop实战》Hadoop数据管理之HDFS
HDFS是分布式计算的存储基石,Hadoop分布式文件系统和其他分布式文件系统有很多类似的特质: 1.对于整个集群有单一的命名空问: 2.具有数据一致性.适合一次写入多次读取的模型,客户揣在文件没有被成功创建之前是无法看到文件存在的: 3.文件会被分割成多个文件块,每个文件块被分配存储到数据节点上,而且会根据配置由复制文件块来保证数据的安全...原创 2018-12-05 16:28:20 · 168 阅读 · 0 评论 -
4.《hadoop实战》Hadoop 计算模型一MapReduce
Map Reduce是Google公司的核心计算模型, 它将运行于大规模集群上的复杂的并行计算过程高度地抽象为了两个函数:map和 reduce。 Hadoop是Doug Cutting受到Google发表的关于MapReduce的论文的启发而开发出来的。 Hadoop中的MapReduce是一个使用简易的软件框架, 基于 它写出来的应用程序能够运行在由上千台商用机器组成的大型集群上, 井以...原创 2018-12-05 15:38:39 · 321 阅读 · 0 评论 -
3.《hadoop实战》Hadoop与分布式开发
我们通常说的分布式系统其实是分布式软件系统,即支持分布式处理的软件系统,它是在通信网络互联的多处理机体系结构上执行任务的,包括分布式操作系统、分布式程序设计语言及其编译(解帮)系统、分布式文件系统和分布式数据库系统等。Hadoop是分布式系统中处理文件的软件系统中文件系统 这一层的软件, 它实现了分布式文件系统和部分分布式 数据库的功能。 Hadoop中的分布式文件系统 HDFS能够实现数...原创 2018-12-04 20:48:15 · 213 阅读 · 0 评论 -
hive没有主键时利用row_number分页
1.由于hive不支持类似mysql的limit0,10;所以需要如下处理:select * from (select row_number() over (order by ipvalue desc) as rnum ,adsv_adsrequest_ad.* from adsv_adsrequest_ad where 1=1 and o like '?' and...原创 2019-03-28 16:19:33 · 1238 阅读 · 2 评论