Hadoop
bill2012x
这个作者很懒,什么都没留下…
展开
-
HCatalog 简介
定义 •A table and storage management layer for Hadoop that enables users with different data process tool-Pig, MapReduce and Hive – to more easily read and write data on the grid. HCatalog屏蔽了底层数据存储原创 2013-04-26 17:38:31 · 2683 阅读 · 0 评论 -
Event Notification -----HCatalog
Overview 由于事件通知机制的引入,用户可以得到通知如果他注册的事件发生。 其中事件共有六种类型: add_database, add_table, add_partition, drop_partition, drop_table, drop_database. 当特定的事件发生,消息会被发送到消息总线上。任何用户都可以通过注册该事件去获得此消息。一旦注册,消息总线会将特定的消息发送到其翻译 2013-05-17 14:27:19 · 1573 阅读 · 0 评论 -
Pig Hive对比
Pig Latin:数据流编程语言 一个Pig Latin程序是相对于输入的一步步操作。其中每一步都是对数据的一个简单的变换。 用Pig Latin编程更像在RDBMS中“查询规划器”(query planner)这一层对数据进行操作,查询规划器决定了如何将描述型语句转化为一系列系统化执行的步骤。 Pig对它所处理的数据要求则宽松得多;可以在运行时定义模式,而且这是可选的。本质上,Pig可以转载 2013-05-17 16:09:42 · 680 阅读 · 0 评论 -
HDFS简单读写分析
文件读取的过程如下: 使用HDFS提供的客户端开发库Client,向远程的Namenode发起RPC请求; Namenode会视情况返回文件的部分或者全部block列表,对于每个block,Namenode都会返回有该block拷贝的DataNode地址; 客户端开发库Client会选取离客户端最接近的DataNode来读取block;如果客户端本身就是DataNode,那么将从本地直接获取转载 2013-06-03 11:19:54 · 753 阅读 · 0 评论 -
Hadoop在MapReduce中使用压缩详解
hadoop对于压缩文件的支持 hadoop对于压缩格式的是透明识别,我们的MapReduce任务的执行是透明的,hadoop能够自动为我们 将压缩的文件解压,而不用我们去关心。 如果我们压缩的文件有相应压缩格式的扩展名(比如lzo,gz,bzip2等),hadoop就会根据扩展名去选择解码器解压。 hadoop对每个压缩格式的支持,详细见下表: 压缩格式 工具 算法转载 2013-07-02 11:59:33 · 677 阅读 · 0 评论