自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(7)
  • 资源 (15)
  • 收藏
  • 关注

转载 Hive中ObjectInspector的作用

Serde是什么:Serde实现数据序列化和反序列化以及提供一个辅助类ObjectInspector帮助使用者访问需要序列化或者反序列化的对象。Serde层构建在数据存储和执行引擎之间,实现数据存储+中间数据存储和执行引擎的解耦。 //主要实现数据的序列化和反序列化。publicabstractclass AbstractSerDe implements SerDe

2014-08-06 22:21:33 14553

转载 Hive中ObjectInspector作用

ObjectInspector是Hive中一个咋一看比较令人困惑的概念,当初读Hive源代码时,花了很长时间才理解。 当读懂之后,发现ObjectInspector作用相当大,它解耦了数据使用和数据格式,从而提高了代码的复用程度。 简单的说,ObjectInspector接口使得Hive可以不拘泥于一种特定数据格式,使得数据流 1)在输入端和输出端切换不同的输入/输出格式 2)在不同的Oper

2014-08-06 21:26:41 3205

转载 ORCFile存储格式

先介绍下Orc的文件格式,截一张官方的图:    可以看到每个Orc文件由1个或多个stripe组成,每个stripe250MB大小,这个Stripe实际相当于之前的rcfile里的RowGroup概念,不过大小由4MB->250MB,这样应该能提升顺序读的吞吐率。每个Stripe里有三部分组成,分别是Index Data,Row Data,Stripe Footer:  

2014-08-06 14:28:26 1917

转载 RCFile存储格式

本文介绍了Facebook公司数据分析系统中的RCFile存储结构,该结构集行存储和列存储的优点于一身,在MapReduce环境下的大规模数据分析中扮演重要角色。Facebook曾在2010 ICDE(IEEE International Conference on Data Engineering)会议上介绍了数据仓库Hive。Hive存储海量数据在Hadoop系统中,提供了一套类数据库

2014-08-06 11:25:03 3967

转载 hive rcfile存储格式

Hive的三种文件格式:TEXTFILE、SEQUENCEFILE、RCFILE中,TEXTFILE和SEQUENCEFILE的存储格式都是基于行存储的,RCFILE是基于行列混合的思想,先按行把数据划分成N个row group,在row group中对每个列分别进行存储。另:Hive能支持自定义格式,详情见:Hive文件存储格式基于HDFS的行存储具备快速数据加载和动态负载的高适应能力,

2014-08-05 16:51:32 13896 1

转载 mapreduce框架详解

开始聊mapreduce,mapreduce是hadoop的计算框架,我学hadoop是从hive开始入手,再到hdfs,当我学习hdfs时候,就感觉到hdfs和mapreduce关系的紧密。这个可能是我做技术研究的思路有关,我开始学习某一套技术总是想着这套技术到底能干什么,只有当我真正理解了这套技术解决了什么问题时候,我后续的学习就能逐步的加快,而学习hdfs时候我就发现,要理解hadoop框架

2014-08-04 21:13:18 730

转载 Hadoop源代码组织结构

文章转自:1.4 Hadoop源代码组织结构直接解压Hadoop压缩包后,可看到图1-11所示的目录结构,其中,比较重要的目录有src、conf、lib、bin等。下面分别介绍这几个目录的作用:src:Hadoop源代码所在的目录。最核心的代码所在子目录分别是core、hdfs和mapred,它们分别实现了Hadoop最重要的三个模块,即基础公共库、HDFS实现和MapRe

2014-08-04 21:05:05 687

HttpClientUtil.java

构造一个http 请求的主体类,然后通过该类在java中模拟http请求

2014-10-23

Mapreduce 分享

请结合本资源的《MapReduce计算模型详讲(结合源码深入解读)》一起研究,该ppt 与该文档是一起的

2014-08-05

MapReduce计算模型详讲(结合源码深入解读)

MapReduce计算模型详讲(结合源码深入解读)

2014-08-04

php-5.3.2-Win32

php-5.3.2-Win32-VC6-x86 php程序包,下载完成后不用安装,解压后放到一个地方,设置环境变量就可以使用了

2013-01-27

eclipse配置hadoop

eclipse配置hadoop,并且如何在eclipse中进行mapreduce的开发

2012-11-16

pythonwin 64位

pythonwin 64位 带有python 窗口的,给大家共享一下

2012-11-16

j2ee培训j2ee培训

j2ee培训 struts spring

2012-11-16

biee 11g 修改默认记录条数

主要讲述biee11g 中怎么修改默认记录数,本人亲自实践证明

2012-06-29

BISever与CDE的集成

BISever与CDE的集成

2012-06-19

J2EE课程培训提纲

J2EE课程培训提纲,对j2ee相关的一些提纲描述

2012-06-18

Kettle的一些常见问题

Kettle的一些常见问题

2012-06-18

JDOM API 帮助文档

JDOM是一个开源项目,直接为JAVA编程技术服务,它基于树型结构,利用纯JAVA对XML文档实现解析、生成、序列化以及多种操作。这本文档是目前最新的JDOM API使用文档,内容非常丰富,编程的必备手册。...... 内容来自: 脚本之家 www.jb51.net

2009-10-27

jquery-1.3.2.min.js

jquery-1.3.2 2009-04-04 最新下载 Ajax框架

2009-04-03

javascript精粹(英文版)

在网上找不到中文版的,好不容易找到英文版的,英文版的也很好,而且我这个是非常清晰的!<br>Using a cookbook approach, The JavaScript Anthology will show you how to apply JavaScript to solve over 101 common Web Development challenges. You\'ll discover how-to:<br><br>* Optimize your code so that it runs faster<br><br>* Create AJAX applications with the XmlHttpRequest object<br><br>* Validate web forms to improve usability<br><br>* Take control of your web pages with the DOM<br><br>* Ensure that your JavaScript code is accessible<br><br>* Create slick drop-down menu systems<br><br>Included in this book is extensive coverage of DHTML and AJAX, including how-to create and customize advanced effects such as draggable elements, dynamically sorting data in a Web Browser, advanced menu systems, retrieving data from a Web Server using XMLHttpRequest and more.<br><br>The JavaScript Anthology also includes extensive coverage of object oriented coding, efficient script design, accessibility, and cross-browser issues. Best of all, you\'ll get download access to all the code used in the book, so you can put the scripts to use instantly.<br><br><br><br>About the Authors<br><br>Cameron Adams has been adding to the internet for over seven years and now runs his own design and development business: www.themaninblue.com. He likes to combine the aesthetic with the technological on his weblog, which contains equal parts of JavaScript, design, and CSS.<br><br>James Edwards programmed and maintains the UDM (Ultimate Dropdown Menu) system, one of the best dynamic HTML menu systems (\"the world\'s first fully-featured and accessible website menu, and provides useable content to all browsers--including screenreaders, search-engines and text-only browsers\").

2008-07-31

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除