![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
文章平均质量分 87
nfbing
这个作者很懒,什么都没留下…
展开
-
hadoop的RPC机制源码分析
前言: hadoop RPC(Remote Procedure Call Protocol ,远程过程调用协议,它是一种通过网络从远程计算机程序上请求服务,而不需要了解底层网络技术的协议。分析对象: hadoop版本:hadoop 0.20.203.0必备技术点: 1. 动态代理(参考 :http://weixiaolu.iteye.com/blog/1477774原创 2014-02-19 13:46:21 · 525 阅读 · 0 评论 -
Hadoop源码阅读2
.3 准备Hadoop源代码在Hadoop的官方网站(http://hadoop.apache.org/)中,可以找到Hadoop项目相关的信息,如图1-14所示。 1.3.1 下载Hadoop前面在介绍Hadoop生态系统的时候,已经了解到Hadoop发展初期的系统中包括Common(开始使用的名称是Core)、HDFS和MapReduce三部分,现在原创 2014-02-20 16:39:17 · 581 阅读 · 0 评论 -
Configurable接口
2.3 Configurable接口Configurable是一个很简单的接口,也位于org.apache.hadoop.conf包中,其类图如图2-3所示。从字面理解,Configurable的含义是可配置的,如果一个类实现了Configurable接口,意味着这个类是可配置的。也就是说,可以通过为这个类的对象传入一个Configuration实例,提供对象工作需原创 2014-02-20 16:47:39 · 2964 阅读 · 0 评论 -
Hive of Hadoop 体系结构
我最近研究了hive的相关技术,有点心得,这里和大家分享下。 首先我们要知道hive到底是做什么的。下面这几段文字很好的描述了hive的特性: 1.hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供完整的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。其优点是学习成本低,可以通过类SQL语句快速实现简单的MapR原创 2014-02-20 16:52:26 · 706 阅读 · 0 评论 -
Hadoop: the definitive guide 第三版 拾遗 第十二章 之Hive分区表、桶
Hive分区表在Hive Select查询中一般会扫描整个表内容,会消耗很多时间做没必要的工作。有时候只需要扫描表中关心的一部分数据,因此建表时引入了partition概念。分区表指的是在创建表时指定的partition的分区空间。Hive可以对数据按照某列或者某些列进行分区管理,所谓分区我们可以拿下面的例子进行解释。当前互联网应用每天都要存储大量的日志文件,几G、几十G甚转载 2014-02-20 16:54:01 · 653 阅读 · 0 评论 -
Hadoop源码阅读
1、创建HDFS目录[java] view plaincopyimport java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.h原创 2014-02-20 16:44:15 · 661 阅读 · 0 评论 -
Hadoop Configuration详解
2.2 Hadoop Configuration详解Hadoop没有使用java.util.Properties管理配置文件,也没有使用Apache Jakarta Commons Configuration管理配置文件,而是使用了一套独有的配置文件管理系统,并提供自己的API,即使用org.apache.hadoop.conf.Configuration处理配置信息。2.2.1原创 2014-02-20 16:46:57 · 3110 阅读 · 0 评论 -
Hive of Hadoop 初步
Hive简介Hive是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具,可以用来进行数据提取转化加载(ETL),这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。Hive 定义了简单的类 SQL 查询语言,称为 HQL,它允许熟悉 SQL 的用户查询数据。同时,这个语言也允许熟悉 MapReduce 开发者的开发自定义的 mapper 和 redu原创 2014-02-20 16:49:55 · 558 阅读 · 0 评论 -
Hadoop配置文件简介
《Hadoop技术内幕:深入解析Hadoop Common和HDFS架构设计与实现原理》第2章Hadoop配置信息处理,本章从Windows和基于Java Properties配置文件开始,分析了Hadoop使用的基于健–值对构成的、结构相对简单的XML配置文件,以及相应的处理类Configuration,特别是Configuration类中的资源加载、资源合并和属性扩展等比较重要的处理过程。本节原创 2014-02-20 16:45:45 · 608 阅读 · 0 评论