2017年10月_追寻北极

12月 11月 10月 09月 08月 07月 06月 05月 04月 02月 01月

转载更快、更强——解析Hadoop新一代MapReduce框架Yarn

背景Yarn是一个分布式的资源管理系统，用以提高分布式的集群环境下的资源利用率，这些资源包括内存、IO、网络、磁盘等。其产生的原因是为了解决原MapReduce框架的不足。最初MapReduce的committer们还可以周期性的在已有的代码上进行修改，可是随着代码的增加以及原MapReduce框架设计的不足，在原MapReduce框架上进行修改变得越来越困难，所以MapReduce的co

2017-10-27 10:32:01 360

转载 Hadoop MapReduce原理及实例

MapReduce是用于数据处理的一种编程模型，简单但足够强大，专门为并行处理大数据而设计。1. 通俗理解MapReduceMapReduce的处理过程分为两个步骤：map和reduce。每个阶段的输入输出都是key-value的形式，key和value的类型可以自行指定。map阶段对切分好的数据进行并行处理，处理结果传输给reduce，由reduce函数完成最后的汇总。例

2017-10-26 18:14:48 580

转载几个有关hadoop生态系统的架构图

1、hadoop1.0时期架构2、hadoop2.0时期架构3、hdfs架构Active Namenode主 Master（只有一个），管理 HDFS 的名称空间，管理数据块映射信息；配置副本策略；处理客户端读写请求Secondary NameNodeNameNode 的热备；定期合并 fsimage 和 fsedits，推送给 NameNode；当

2017-10-26 18:13:34 2964

转载 Hadoop之MapReduce

摘要：MapReduce是Hadoop的又一核心模块，从MapReduce是什么，MapReduce能做什么以及MapReduce的工作机制三方面认识MapReduce。关键词：Hadoop MapReduce 分布式处理面对大数据，大数据的存储和处理，就好比一个人的左右手，显得尤为重要。Hadoop比较适合解决大数据问题，很大程度上依赖其大数据存储系统，即HDFS和大

2017-10-26 18:11:10 459

转载【Hadoop】HDFS的运行原理

简介HDFS（Hadoop Distributed File System ）Hadoop分布式文件系统。是根据google发表的论文翻版的。论文为GFS（Google File System）Google 文件系统（中文，英文）。HDFS有很多特点： ① 保存多个副本，且提供容错机制，副本丢失或宕机自动恢复。默认存3份。 ② 运行在廉价的机器上。

2017-10-26 18:03:24 218

转载 Hive和HBase的整合原理

Point 1：配置 hive 与 hbase 整合的目的是利用 HQL 语法实现对 hbase 数据库的增删改查操作，基本原理就是利用两者本身对外的API接口互相进行通信，两者通信主要是依靠hive_hbase-handler.jar工具类。但请注意：使用Hive操作HBase中的表，只是提供了便捷性，hiveQL引擎使用的是MapReduce，对于性能上，表现比较糟糕，在实际应用过程中

2017-10-26 17:34:39 577

转载 Hive与Hbase关系整合

近期工作用到了Hive与Hbase的关系整合，虽然从网上参考了很多的资料，但是大多数讲的都不是很细，于是决定将这块知识点好好总结一下供大家分享，共同掌握！本篇文章在具体介绍Hive与Hbase整合之前，先给大家用一个流程图介绍Hadoop业务的开发流程以及Hive与Hbase的整合在业务当中的必要性。其中在数据存入hbase—>Hive对数据进行统计分析的这个步骤中就涉及到了Hi

2017-10-26 17:19:28 428

转载 Java CMS GC 361s引发的血案

问题现象当前项目是基于GemFire集群开发，然而我们偶尔会遇到一个节点掉出集群的情况。在分析问题过程中，我们发现在该节点（N1）掉出去之前发生了如下事件。首先，N1最后的log时间在2015/07/23 06:25:35.544，并且直到2015/07/23 06:31:44.624（6分钟以后）在开始出现下一个log，接收到Primary Locator发出的机群中新的节点视图

2017-10-26 17:12:31 993

转载 HBase详细概述

本文首先简单介绍了HBase,然后重点讲述了HBase的高并发和实时处理数据、HBase数据模型、HBase物理存储、HBase系统架构，HBase调优、HBase Shell访问等。不过在此之前，你可以先了解 Hadoop生态系统，若想运行HBase，则需要先搭建好Hadoop集群环境，可以参考此文搭建5个节点的hadoop集群环境（CDH5）。好了，让我们来学习HBase

2017-10-26 17:10:49 832

转载深入HBase架构解析（二）

前言这是《深入HBase架构解析（一）》的续，不多废话，继续。。。。HBase读的实现通过前文的描述，我们知道在HBase写时，相同Cell(RowKey/ColumnFamily/Column相同)并不保证在一起，甚至删除一个Cell也只是写入一个新的Cell，它含有Delete标记，而不一定将一个Cell真正删除了，因而这就引起了一个问题，如何实现读的问题？要解决这个问题，我们

2017-10-26 17:10:03 335

转载深入HBase架构解析（一）

前记公司内部使用的是MapR版本的Hadoop生态系统，因而从MapR的官网看到了这篇文文章：An In-Depth Look at the HBase Architecture，原本想翻译全文，然而如果翻译就需要各种咬文嚼字，太麻烦，因而本文大部分使用了自己的语言，并且加入了其他资源的参考理解以及本人自己读源码时对其的理解，属于半翻译、半原创吧。HBase架构组成HBase采

2017-10-26 16:40:32 308

转载 hive2.1.1 部署安装

安装hive 之前，要保证hadoop安装成功，本教程对应的是hadoop版本为2.6.4,hive 版本为 2.1.1，默认情况下，Hive元数据保存在内嵌的 Derby 数据库中，只能允许一个会话连接，只适合简单的测试。为了支持多用户多会话，则需要一个独立的元数据库，我们使用 MySQL 作为元数据库一、下载Hive下载地址：https://mirrors.tuna.tsing

2017-10-18 18:29:28 310

转载 ASP.NET、.NET和C#的关系是怎样的？

1、.NET是什么？.Net全称.NET Framework是一个开发和运行环境，该战略是微软的一项全新创意，它将使得“互联网行业进入一个更先进的阶段”，.NET不是一种编程语言. 简单说就是一组类库框架，.NET开发支持C#、VB.NET、J#、Jsript和Managed C++等。C#是.NET Framework框架支持的一种主力开发语言,可用于开发ASP.NET网站,Wind

2017-10-12 19:00:57 2866