- 博客(13)
- 资源 (28)
- 收藏
- 关注
转载 更快、更强——解析Hadoop新一代MapReduce框架Yarn
背景Yarn是一个分布式的资源管理系统,用以提高分布式的集群环境下的资源利用率,这些资源包括内存、IO、网络、磁盘等。其产生的原因是为了解决原MapReduce框架的不足。最初MapReduce的committer们还可以周期性的在已有的代码上进行修改,可是随着代码的增加以及原MapReduce框架设计的不足,在原MapReduce框架上进行修改变得越来越困难,所以MapReduce的co
2017-10-27 10:32:01 360
转载 Hadoop MapReduce原理及实例
MapReduce是用于数据处理的一种编程模型,简单但足够强大,专门为并行处理大数据而设计。1. 通俗理解MapReduceMapReduce的处理过程分为两个步骤:map和reduce。每个阶段的输入输出都是key-value的形式,key和value的类型可以自行指定。map阶段对切分好的数据进行并行处理,处理结果传输给reduce,由reduce函数完成最后的汇总。例
2017-10-26 18:14:48 582
转载 几个有关hadoop生态系统的架构图
1、hadoop1.0时期架构2、hadoop2.0时期架构3、hdfs架构Active Namenode主 Master(只有一个),管理 HDFS 的名称空间,管理数据块映射信息;配置副本策略;处理客户端读写请求Secondary NameNodeNameNode 的热备;定期合并 fsimage 和 fsedits,推送给 NameNode;当
2017-10-26 18:13:34 2966
转载 Hadoop之MapReduce
摘要:MapReduce是Hadoop的又一核心模块,从MapReduce是什么,MapReduce能做什么以及MapReduce的工作机制三方面认识MapReduce。关键词:Hadoop MapReduce 分布式处理面对大数据,大数据的存储和处理,就好比一个人的左右手,显得尤为重要。Hadoop比较适合解决大数据问题,很大程度上依赖其大数据存储系统,即HDFS和大
2017-10-26 18:11:10 459
转载 【Hadoop】HDFS的运行原理
简介HDFS(Hadoop Distributed File System )Hadoop分布式文件系统。是根据google发表的论文翻版的。论文为GFS(Google File System)Google 文件系统(中文,英文)。HDFS有很多特点: ① 保存多个副本,且提供容错机制,副本丢失或宕机自动恢复。默认存3份。 ② 运行在廉价的机器上。
2017-10-26 18:03:24 219
转载 Hive和HBase的整合原理
Point 1: 配置 hive 与 hbase 整合的目的是利用 HQL 语法实现对 hbase 数据库的增删改查操作,基本原理就是利用两者本身对外的API接口互相进行通信,两者通信主要是依靠hive_hbase-handler.jar工具类。 但请注意:使用Hive操作HBase中的表,只是提供了便捷性,hiveQL引擎使用的是MapReduce,对于性能上,表现比较糟糕,在实际应用过程中
2017-10-26 17:34:39 577
转载 Hive与Hbase关系整合
近期工作用到了Hive与Hbase的关系整合,虽然从网上参考了很多的资料,但是大多数讲的都不是很细,于是决定将这块知识点好好总结一下供大家分享,共同掌握! 本篇文章在具体介绍Hive与Hbase整合之前,先给大家用一个流程图介绍Hadoop业务的开发流程以及Hive与Hbase的整合在业务当中的必要性。 其中在数据存入hbase—>Hive对数据进行统计分析的这个步骤中就涉及到了Hi
2017-10-26 17:19:28 429
转载 Java CMS GC 361s引发的血案
问题现象当前项目是基于GemFire集群开发,然而我们偶尔会遇到一个节点掉出集群的情况。在分析问题过程中,我们发现在该节点(N1)掉出去之前发生了如下事件。首先,N1最后的log时间在2015/07/23 06:25:35.544,并且直到2015/07/23 06:31:44.624(6分钟以后)在开始出现下一个log,接收到Primary Locator发出的机群中新的节点视图
2017-10-26 17:12:31 993
转载 HBase详细概述
本文首先简单介绍了HBase,然后重点讲述了HBase的高并发和实时处理数据 、HBase数据模型、HBase物理存储、HBase系统架构,HBase调优、HBase Shell访问等。不过在此之前,你可以先了解 Hadoop生态系统 ,若想运行HBase,则需要先搭建好Hadoop集群环境,可以参考此文搭建5个节点的hadoop集群环境(CDH5) 。好了,让我们来学习HBase
2017-10-26 17:10:49 833
转载 深入HBase架构解析(二)
前言这是《深入HBase架构解析(一)》的续,不多废话,继续。。。。HBase读的实现通过前文的描述,我们知道在HBase写时,相同Cell(RowKey/ColumnFamily/Column相同)并不保证在一起,甚至删除一个Cell也只是写入一个新的Cell,它含有Delete标记,而不一定将一个Cell真正删除了,因而这就引起了一个问题,如何实现读的问题?要解决这个问题,我们
2017-10-26 17:10:03 336
转载 深入HBase架构解析(一)
前记公司内部使用的是MapR版本的Hadoop生态系统,因而从MapR的官网看到了这篇文文章:An In-Depth Look at the HBase Architecture,原本想翻译全文,然而如果翻译就需要各种咬文嚼字,太麻烦,因而本文大部分使用了自己的语言,并且加入了其他资源的参考理解以及本人自己读源码时对其的理解,属于半翻译、半原创吧。HBase架构组成HBase采
2017-10-26 16:40:32 311
转载 hive2.1.1 部署安装
安装hive 之前,要保证hadoop安装成功,本教程对应的是hadoop版本为2.6.4,hive 版本为 2.1.1,默认情况下,Hive元数据保存在内嵌的 Derby 数据库中,只能允许一个会话连接,只适合简单的测试。为了支持多用户多会话,则需要一个独立的元数据库,我们使用 MySQL 作为元数据库一、下载Hive下载地址:https://mirrors.tuna.tsing
2017-10-18 18:29:28 310
转载 ASP.NET、.NET和C#的关系是怎样的?
1、.NET是什么?.Net全称.NET Framework是一个开发和运行环境,该战略是微软的一项全新创意,它将使得“互联网行业进入一个更先进的阶段”,.NET不是一种编程语言. 简单说就是一组类库框架,.NET开发支持C#、VB.NET、J#、Jsript和Managed C++等。C#是.NET Framework框架支持的一种主力开发语言,可用于开发ASP.NET网站,Wind
2017-10-12 19:00:57 2879
struts2.0中文帮助手册.chm
2010-03-01
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人