学海无涯勤为径-CSDN博客

原创 Hbase原理总结

一. HBase的介绍HBase是一个分布式的、面向列的开源数据库，该技术来源于 Fay Chang 所撰写的Google论文"Bigtable:一个结构化数据的分布式存储系统。就像Bigtable利用了Google文件系统(File System)所提供的分布式数据存储一样，HBase在Hadoop之上提供了类似于Bigtable的能力。HBase是Apache的Hadoop项目的子项目。HBa

2018-01-18 22:24:13 651

原创 Hadoop的MapReduce和Yarn

1. Yarn是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而mapreduce等运算程序则相当于运行于操作系统之上的应用程序；Yarn是hadoop2.0版本新添加的；2.YARN基本组成结构：YARN 主要由ResourceManager、NodeManager、ApplicationMaster和Container 等几个组件构成。

2018-01-11 10:36:18 271

原创 Hadoop的MAPReduce之shuffle

1. shuffle: 洗牌、发牌——（核心机制：数据分区，排序，缓存）；shuffle具体来说：就是将maptask输出的处理结果数据，分发给reducetask，并在分发的过程中，对数据按key进行排序；2. shuffle缓存流程：shuffle是MapReduce处理流程中的一个过程，每一个处理步骤是分散在各个maptask和reducetask节点上完成的，整体来看，分为三个操作：1）分

2018-01-11 09:21:27 445

原创 Hadoop的MapReduce之maptask和reducetask

mapreduce就是一个分布式程序的通用框架：一个完整的mapreduce程序在分布式运行时有三类实例进程：（根据hadoop2.0以后版本进行讲述）1、MRAppMaster：负责整个程序的过程调度及状态协调；2、mapTask：负责map阶段的整个数据处理流程；3、ReduceTask：负责reduce阶段的整个数据处理流程；具体流程解析如下：1. 一个MapRedu

2018-01-10 11:34:53 1507

原创 Hadoop的split和block的区别和联系

hadoop在默认的情况下，split和hdfs的block的大小是一样的，这样容易造成误解认为两者是一样的，下面说下两者的区别和联系：1. split是MapReduce里的概念，是切片的概念；而block是hdfs中切块的大小；2. split的大小在默认的情况下和HDFS的block切块大小一致，为了是MapReduce处理的时候减少由于split和block之间大小不一致，可能会完

2018-01-10 10:10:20 3969

原创 Hadoop的HDFS中的namenode和secondarynamenode的内容总结

NameNode主要是用来保存HDFS的元数据信息，比如命名空间信息，块信息等等。当它运行的时候，这些信息是存在内存中的。但是这些信息也可以持久化到磁盘上：fsimage：它是NameNode启动时对整个文件系统的快照。edits：它是在NameNode启动后，对文件系统的改动序列。　　只有在NameNode重启时，edits才会合并到fsimage文件中，从而得到一个文件系统

2018-01-09 22:14:25 1290

原创 Hadoop的HDFS中namenode和datenode内容分析

NameNode：是Master节点，是大领导。管理数据块映射；处理客户端的读写请求；配置副本策略；管理HDFS的名称空间；SecondaryNameNode：是一个小弟，分担大哥namenode的工作量；是NameNode的冷备份；合并fsimage和fsedits然后再发给namenode。DataNode：Slave节点，奴隶，干活的。负责存储client发来的数据块bloc

2018-01-09 20:25:59 11693 1

原创关于Web容器,servlet容器和web应用的关系

servlet容器:负责管理servlet生命周期。web容器:负责管理和部署web应用，其本身可能具备servlet容器组件；如果没有，一般能将第三方servlet容器作为组件整合进web容器。没有servlet容器，你也可以用web容器直接访问静态页面，比如安装一个apache等，但是如果要显示jsp/servlet，你就要安装一个servlet容器了，但是光有servlet容

2017-10-31 10:52:14 1584 2

llc1984513的博客