java代码筛选文件

package org.maoxiao.gf; import com.sun.scenario.effect.impl.sw.sse.SSEBlend_SRC_OUTPeer; import java.io.*; import java.util.HashMap; import java.ut...

2014-05-30 10:48:44

阅读数:1545

评论数:0

md-pom

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi...

2014-05-28 00:33:02

阅读数:388

评论数:0

基于Hive元数据存储和Avro序列化的MapReduce日志解析

Hive元数据存储和Avro序列化的MapReduce日志解析

2014-05-26 08:40:36

阅读数:1964

评论数:0

AVRO 规范-Schema的定义和声明

参考自http://avro.apache.org/docs/current/spec.html Avro 1.4.1规范定义了Avro序列化系统,它即将成为官方规范,Avro的各种实现方式必须遵循该规范。 Schema定义 AVRO的Schema是用JSON的格式表示的,Schem...

2014-05-21 06:42:16

阅读数:1589

评论数:0

avro in hive

//HEADER HQL CREATE EXTERNAL TABLE Header ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.avro.AvroSerDe' STORED AS INPUTFORMAT 'org.apache.hadoop.h...

2014-05-19 10:27:30

阅读数:663

评论数:0

hadoop配置心得

让hadoop运行MR的时候时候优先使用我们给项目打进去的lib包; 解决:        只需要在hadoop/etc/mapred-site.xml 里面加上下面配置信息就ok property>       name>mapreduce.job.user.cl...

2014-05-16 14:48:40

阅读数:455

评论数:0

ncnc

四月二十九,美玉生日

2014-05-13 23:02:13

阅读数:530

评论数:0

Avro总结(RPC/序列化)

Avro(读音类似于[ævrə])是Hadoop的一个子项目,由Hadoop的创始人Doug Cutting(也是Lucene,Nutch等项目的创始人,膜拜)牵头开发,当前最新版本1.3.3。Avro是一个数据序列化系统,设计用于支持大批量数据交换的应用。它的主要特点有:支持二进制序列化方式,可...

2014-05-13 11:39:14

阅读数:541

评论数:0

hadoop中的文件格式

原文链接: Hadoop 作为MR 的开源实现,一直以动态运行解析文件格式并获得比MPP数据库快上几倍的装载速度为优势。不过,MPP数据库社区也一直批评Hadoop由于文件格式并非为特定目的而建,因此序列化和反序列化的成本过高[7]。本文介绍Hadoop目前已有的几种文件格式,分析其特点、开销及...

2014-05-13 11:31:55

阅读数:525

评论数:0

Hive 常用命令

创建一个内部表: create database

2014-05-13 10:23:56

阅读数:394

评论数:0

Hive语法详解

Hive 是基于Hadoop 构建的一套数据仓库分析系统,它提供了丰富的SQL查询方式来分析存储在Hadoop 分布式文件系统中的数据,可以将结构 化的数据文件映射为一张数据库表,并提供完整的SQL查询功能,可以将SQL语句转换为MapReduce任务进行运行,通过自己的SQL 去查询分析需 ...

2014-05-13 01:35:17

阅读数:784

评论数:0

hive学习(2)

这里罗列常用操作,更多参考 https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DDL#LanguageManualDDL-Create%2FDrop%2FTruncateTable   简单的创建表 c...

2014-05-13 01:06:25

阅读数:387

评论数:0

hive学习(1)

hive sql 学习笔记(1) 一、 创建表      在官方的wiki里,example是这样的: Sql代码   CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name     [(col_name data_t...

2014-05-13 00:46:36

阅读数:383

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭