- 博客(13)
- 资源 (1)
- 问答 (2)
- 收藏
- 关注
RSS订阅原创 Hadoop 中 YARN和MV2以及ApplicationMaster
ApplicationMaster是什么？ApplicationMaster 是一个框架特殊的库，对于 Map-Reduce 计算模型而言有它自己的 ApplicationMaster 实现，对于其他的想要运行在 yarn上的计算模型而言，必须得实现针对该计算模型的 ApplicationMaster 用以向 ResourceManager 申请资源运行 task。比如运行在 yarn上的spark
2016-01-28 23:51:43
1346
原创 Hadoop 之 数据流——客户端与HDFS，namenode和datanode 之间的数据流
1.文件读取客户端通过调用 FileSystem 对象的 open() 方法来打开想读取的文件，对于 HDFS 来说，这个对象是分布式文件系统（DistributedFileSystem）的一个实例，如上图步骤1。DistributedFileSystem 通过使用 RPC 来调用 namenode ，获取文件的存储位置，以确定文件起始块的位置，如上图步骤2。namenode 返回文件所有组成块
2016-01-28 23:08:29
3819
原创 Hadoop 之 Shuffle 和排序---再理解
其实在我的一篇博文中，已经对Shuffle有了自己的总结，但是，回过头来再看的时候，觉得又可以再深层次的理解和记忆跟细节的东西。有必要再进行一次知识的输出—不知道在哪里看到的一句话，知识的输出是更残忍的输入。内容的理解来源于《Hadoop 权威指南（第三版）》，P226 页。一 总述MapReduce 确保每个 reducer 的输入都是按键排序的。Shuffle 这一过程可以说是系统执行排序的过程
2016-01-26 20:30:21
4302
转载 HBase 笔试题
以下试题是摘自互联网的基础上自己加了选项说明解释便于自己以后看时方便节省时间HBase来源于哪篇博文？ C A The Google File System B MapReduce C BigTable D Chubby下面对HBase的描述哪些是正确的？ B、C、D A 不是开源的 B 是面向列的 C 是分布式的 D 是一种NoSQL数据库HBase依靠（）存储底层数据 A
2016-01-10 19:43:30
8328
1
原创 HBase 与 Hive 的区别和关系
看到了很多博文中对HBase 与 Hive 的区别做了一些说明，关于这个问题，在刚开始学习 HBase 和 Hive 时就有了这个问题在我脑海中，所以在看到这些博文后，忽然觉得茅塞顿开，可能还需要一段时间的消化和吸收，但是已经比之前明白了许多，写下这篇博文，供日后使用。一 由简入繁，通俗的说看到一篇博文，是这样理解的。hive是什么？ 白话一点再加不严格一点，hive可以认为是map-reduc
2016-01-10 18:21:33
11998
1
原创 HBase 总结之基础入门
HBase0.98.0看到的一篇不错的入门博文： http://my.oschina.net/vigiles/blog/215885#OSC_h2_12HBase中对表的增删改查基础： http://javacrazyer.iteye.com/blog/1186881
2016-01-10 15:37:08
330
原创 HBase 总结之HBase作为共享源
简介：HBase作为共享源，即HBase作为输入源，同时作为输出源。通俗的讲，就是从HBase中读取数据，使用MapReduce处理过后，再将处理的结果存入HBase中去。下面直接上代码：package apache.org.myhbase.asshare;import java.io.IOException;import org.apache.hadoop.conf.Configuration;
2016-01-10 15:25:38
1034
原创 HBase 总结之HBase作为输出源
简介：HBase 作为输出源，即从其他存储介质中，使用MapReduce计算后将结果输出到HBase中。下面直接上代码：主程序package apache.org.myhbase.asoutput;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.had
2016-01-10 15:19:17
984
原创 HBase 总结之HBase作为输入源
简介：HBase 作为输入源，即从HBase中读取数据，使用MapReduce计算完成之后，将数据存储到其他介质中。下面直接上代码：主程序package apache.org.myhbase.asinput;import org.apache.commons.logging.Log;import org.apache.commons.logging.LogFactory;import org
2016-01-10 15:09:39
831
转载 HBase 总结之 Java API 介绍
相关类与HBase数据模型之间的对应关系 java类 HBase数据模型 HBaseAdmin 数据库（DataBase) HBaseConfiguration 数据库（DataBase) HTable 表（Table) HTableDescriptor 列族（Column Family) Put 列修饰符（Column Qualifier） Get
2016-01-09 23:01:19
295
原创 HBase 总结之对表的基本操作
环境介绍： hadoop2.2.0+hbase0.98.16package apache.org.myhbase.dao;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.HBaseConfiguration;import org.apa
2016-01-09 22:28:17
431
原创 Linux 中的 sed 命令详解
背景：在学习 hadoop 的过程中，看了一篇博文，《Hadoop2.6.0|Hbase0.98.13的Mapreduce开发环境搭建》，在这篇文章中介绍把 HBase 目录下的 lib 目录中的 hadoop 的相关 jar 包替换成当前 hadoop 环境的 jar 包时，写了一个脚本，在这篇文章中，领率了 sed 命令的魅力所在。一 简介之所以称为sed是因为它是一个流编辑器（stream
2016-01-09 22:07:51
630
MySQL 远程连接后建表问题
2015-08-15
Hadoop分布式搭建时，在主节点JPS找不到JobTracker进程
2015-07-14
TA创建的收藏夹 TA关注的收藏夹
TA关注的人