2013年02月_小桥

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

转载 Hive 中SerDe概述

一、背景 1、当进程在进行远程通信时，彼此可以发送各种类型的数据，无论是什么类型的数据都会以二进制序列的形式在网络上传送。发送方需要把对象转化为字节序列才可在网络上传输，称为对象序列化；接收方则需要把字节序列恢复为对象，称为对象的反序列化。 2、Hive的反序列化是对key/value反序列化成hive table的每个列的值。 3、Hive可以方便的将数据加载到表中而不需要对数

2013-02-28 14:22:15 1553

转载 hive源码结构分析（编译器）

本文转自：http://samuschen.iteye.com/blog/860809 Hive 是将 SQL 语句转换成 hadoop 的 MapReduce 程序，通常在客户端执行 hive 命令，然后输入 SQL 语句后， hive 将 SQL 语句生成多个 MR 的 job ，然后将这些 job 提交给 hadoop 进行执行，完成后，再把结果放入到hdfs 或者本地的临时文件中。

2013-02-28 11:29:34 485

转载 Hive官方手册翻译(Getting Started)

翻译Hive官方文档系列，文中括号中包含注: 字样的，为我自行标注的，水平有限，翻译不是完美无缺的。如有疑问，请参照Hive官方文档对照查看。内容列表 Cloudera制作的Hive介绍视频安装与配置系统需求安装Hive发行版从Hive源码编译运行Hive 配置管理概览运行时配置 Hive, Map-Reduc

2013-02-27 15:58:13 820

转载 [官版翻译ing]OpenStack云计算快速入门之一：OpenStack及其构成简介

转自：http://blog.chinaunix.net/uid-22414998-id-3263551.html 《OpenStack Starter Guide for Ubuntu 12.04 -Compute, Object Storage (all-in-one), Image, and Identity services plus Dashboard》官方教程翻译

2013-02-27 15:53:52 482

转载 hive动态分区与静态分区

HIVE分区，实际上是通过一个路径来标识的，而不是在物理数据中。比如每天的数据，可能分区是pt=20121023这样，那么路径中它就会变成：/hdfs/path/pt=20121023/data_files。通过路径来标识的好处是，如果我们需要取特定分区的数据，只需要把这个路径下的数据取出来就可以了，不用扫描全部的数据。 HIVE默认是静态分区。但是有时候可能需要动态创建不同的分区，比如商品

2013-02-26 15:39:11 689

转载 hive知识

Hive常用的SQL命令操作创建表 hive> CREATE TABLE pokes (foo INT, bar STRING); 创建表并创建索引字段ds hive> CREATE TABLE invites (foo INT, bar STRING) PARTITIONED BY (ds STRING); 显示所有表 hive> SHOW TABLES; 查看表结

2013-02-26 14:49:39 708

转载 Hive原理与不足

转自：http://blog.csdn.net/wind5shy/article/details/8560059 架构 UI：用户提交查询请求与获得查询结果。包括三个接口：命令行（CLI）、Web GUI（Hue）和客户端。Driver：接受查询请求与返回查询结果。实现了session的概念，以处理和提供基于JDBC/ODBC执行以及颉取的API。Compiler: 编译器

2013-02-21 14:47:59 565

转载 hive 三种启动方式及用途

1， hive 命令行模式，直接输入/hive/bin/hive的执行程序，或者输入 hive –service cli 用于linux平台命令行查询，查询语句基本跟mysql查询语句类似 2， hive web界面的启动方式，hive –service hwi 用于通过浏览器来访问hive，感觉没多大用途 3， hive 远程服务 (端口号100

2013-02-21 14:34:03 857

转载 hive中UDF和UDAF使用说明

Hive进行UDF开发十分简单，此处所说UDF为Temporary的function，所以需要hive版本在0.4.0以上才可以。一、背景：Hive是基于Hadoop中的MapReduce，提供HQL查询的数据仓库。Hive是一个很开放的系统，很多内容都支持用户定制，包括： a）文件格式：Text File，Sequence File b）内存中的数据格式： Java Integer/St

2013-02-21 14:26:54 539

转载 DBA常用SQL语句

查看表空间的名称及大小: SQL>select t.tablespace_name, round(sum(bytes/(1024*1024)),0) ts_size from dba_tablespaces t, dba_data_files d where t.tablespace_name = d.tablespace_name group by t.tablespace_name;

2013-02-19 10:58:59 583

转载 HIVE元数据表/数据字典

HIVE元数据表/数据字典 0人收藏此文章, 我要收藏表名说明 BUCKETING_COLS Hive表CLUSTERED BY字段信息(字段名，字段序号) COLUMNS Hive表字段信息(字段注释，字段名，字段类型，字段序号) DBS

2013-02-01 16:20:39 2414

腾讯深度学习平台（译）

腾讯深度开发平台翻译文档，介绍深度学习平台架构等，有很好的学习价值，值得大家学习一下

2014-08-14

MFS文件系统使用手册.pdf

MFS文件系统使用手册，新手学习还是很不错的，大家可以学习一下

2014-01-09

基于事件的 NIO 多线程服务器（源码）

基于事件的 NIO 多线程服务器（源码）可以根据博客中的描述对照学习

2013-07-22

VMware-ESXI-5.0.0 key

2013-01-10

Oracle知识库

1.Oracle知识 2.DBA 3.Exp vs Imp 4.SQL技巧 5.Oracle错误 6.Oracle初学者入门 7.Oracle安装与删除 8.Oracle安全性问题 9.Oracle系统设置，优化，链接 10.索引，序列，快照，数据库链路，触发器 11.Oracle及其其他数据库比较 12.linux vs unix 13.Develop 2000

2012-10-24