- 博客(11)
- 资源 (4)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 7.《hadoop实战》MapReduce任务的shuffle 和排序
map的输出会经过一个名为shuffle的过程交给reduce处理， 当然也有map的结果经过sort-merge交给reduce处理的。其实在MapReduce流程中， 为了 让 reduce可以并行处理map结果， 必须对map的输出进行一定的排序和分割 ， 然后再交给对应的 reduce， 而这个将map输出进行进 一步整理并交给reduce的过程就成 为了shuffle。从...
2018-12-17 20:36:59
447
原创 6.1《hadoop实战》MapReduce任务的执行总流程之错误处理机制
众所周知， Hadoop有很强的容错性。 这主要是针对由成千上万台普通机器组成的 集群 中常态化的硬件故障的， Hadoop能够利用冗余数据方式来解决硬件故障， 以保证数据安全和任务执行。 那么MapReduce在具体执行作业过程中遇到硬件故障会如何处理呢？对于用 户代码的缺陷或进程崩溃引起的错误又会如何处理呢？1.硬件故障 从MapReduce任务的执行角度出发， 所涉及的...
2018-12-17 17:12:54
442
原创 6.《hadoop实战》MapReduce任务的执行总流程
一个MapReduce作业的执行流程是： 代码编写→作业配置→ 作业提交→Map 任务的分配和执行→处理中间结果→Reduce任务的分配和执行→作业完成， 而在每个任务的执行过程中， 又包含输入准备－任务执行斗输出结果。上图给出了MapReduce作业详细的执行流程 图。 从图中可以看出MapReduce作业的执行可以分为11个步骤，涉及4个独立的实体。 它们在MapReduce 执行过程...
2018-12-17 16:15:21
271
原创 5.3.《hadoop实战》Hadoop数据管理之Hive
Hive是建立在Hadoop上的数据仓库基础构架。 它提供了一系列的工具， 用来进行数据提取 、 转化、 加载， 这是一种可以存储、 查询和分析存储在Hadoop中的大规模数据的机制。 Hive定义了简单的类SQL查询语言， 称为 QL， 它允许熟悉SQL的用户查询数据。 作为一 个数据仓库 ，Hive的数据管理按照使用层次可以从元数据存储、 数据存储和数据交换三个方面来介绍。...
2018-12-12 17:49:43
178
原创 5.2.《hadoop实战》Hadoop数据管理之HBase
HBase是一个类似Bigtable的分布式数据库，它的大部分特性和Bigtable一样，是一个稀疏的、长期存储的（存在硬盘上〉、多维度的排序映射表．这张表的索引是行关键字、列关键字和时问戳。每个值是一个不解释的字符数组，数据都是字符扇，没有类型。用户在 表格中存储数据，每一行都有一个可排序的主键和任意多的列。由于是稀疏存储的，所以 同一张表里面的每一行数据都可以有截然不同的列。列...
2018-12-05 20:42:27
149
原创 5.1.《hadoop实战》Hadoop数据管理之HDFS
HDFS是分布式计算的存储基石，Hadoop分布式文件系统和其他分布式文件系统有很多类似的特质： 1.对于整个集群有单一的命名空问： 2.具有数据一致性．适合一次写入多次读取的模型，客户揣在文件没有被成功创建之前是无法看到文件存在的： 3.文件会被分割成多个文件块，每个文件块被分配存储到数据节点上，而且会根据配置由复制文件块来保证数据的安全...
2018-12-05 16:28:20
174
原创 4.《hadoop实战》Hadoop 计算模型一MapReduce
Map Reduce是Google公司的核心计算模型， 它将运行于大规模集群上的复杂的并行计算过程高度地抽象为了两个函数：map和 reduce。 Hadoop是Doug Cutting受到Google发表的关于MapReduce的论文的启发而开发出来的。 Hadoop中的MapReduce是一个使用简易的软件框架， 基于 它写出来的应用程序能够运行在由上千台商用机器组成的大型集群上， 井以...
2018-12-05 15:38:39
345
转载 MYSQL数据库引擎区别
文章转载至:https://www.cnblogs.com/zhangjinghe/p/7599988.html数据库引擎介绍MySQL数据库引擎取决于MySQL在安装的时候是如何被编译的。要添加一个新的引擎，就必须重新编译MYSQL。在缺省情况下，MYSQL支持三个引擎：ISAM、MYISAM和HEAP。另外两种类型INNODB和BERKLEY（BDB），也常常可以使用。如果技术高超，还...
2018-12-05 11:30:03
201
原创 3.《hadoop实战》Hadoop与分布式开发
我们通常说的分布式系统其实是分布式软件系统，即支持分布式处理的软件系统，它是在通信网络互联的多处理机体系结构上执行任务的，包括分布式操作系统、分布式程序设计语言及其编译（解帮）系统、分布式文件系统和分布式数据库系统等。Hadoop是分布式系统中处理文件的软件系统中文件系统 这一层的软件， 它实现了分布式文件系统和部分分布式 数据库的功能。 Hadoop中的分布式文件系统 HDFS能够实现数...
2018-12-04 20:48:15
237
原创 2.《hadoop实战》HDFS和MapReduce体系结构
一).HDFS的体系结构 HDFS采用了主从（Master/Slave）结构模型，一个HDFS集群是由一个NarneNode和若干个DataNode组成的。其中NameNode作为主服务器， 管理文件系统的命名空间和客户端对文件的访问操作：集群中的DataNode管理存储的数据。 HDFS允许用户以文件的形式存储数据。从内部来看，文件被分成若干个数据块，而且这若干个数据块存放在一组Da...
2018-12-03 17:20:39
433
原创 1.《hadoop实战》Hadoop子项目及其结构
现在Hadoop已经发展成为包含多个子项目的集合。 虽然其核心内容是MapReduce和 Hadoop分布式文件系统（HDFS）， 但Hadoop下的Common、Avro、Chukwa, Hive、HBase等子项目也是不可或缺的。 它们提供了互补性服务或在核心层上提供了更高层的服务。l ) Core/Common ：从Hadoop0.20版本开始，HadoopCore项目便更各为Commo...
2018-12-03 16:49:18
862
springBoot集成mybatis+shiro+jsp
2017-11-01
springBoot集成mybatis与shiro
2017-11-01
TA创建的收藏夹 TA关注的收藏夹
TA关注的人