hadoop
acmilanvanbasten
这个作者很懒,什么都没留下…
展开
-
hadoop在ubuntu下的安装配置
一.安装ubuntu 我是下载的ubuntu12.04,在64位的虚拟机上使用virtualbox安装的,没错,是在虚拟机上在安装虚拟机,然后安装ubuntu具体安装过程就不描述了,不过安装过程确实慢,除非你的网络很快。12.04的新主题使用真是别扭,在登陆界面切换到gonme classic,这里可以使用windows共享,可以很方便的从硬盘或者其他机器拉东西回来。 二. 在U转载 2013-11-17 13:02:21 · 713 阅读 · 0 评论 -
hadoop集群安装教程
通常,集群里的一台机器被指定为 NameNode,另一台不同的机器被指定为JobTracker。这些机器是masters。余下的机器即作为DataNode也作为TaskTracker。这些机器是slaves。 1 先决条件确保在你集群中的每个节点上都安装了所有必需软件:sun-JDK ,ssh,HadoopJavaTM1.5.x,必须安装,建议选择Sun公司发行的Java版转载 2013-11-17 13:03:29 · 2044 阅读 · 0 评论 -
Hive用户指南
1. HIVE结构Hive 是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具,可以用来进行数据提取转化加载(ETL),这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。Hive 定义了简单的类 SQL 查询语言,称为 QL,它允许熟悉 SQL 的用户查询数据。同时,这个语言也允许熟悉 MapReduce 开发者的开发自定义的 mapper 和 redu转载 2013-12-10 23:01:08 · 3712 阅读 · 0 评论 -
Hadoop4Win + Eclipse 运行 WordCount 程序
1. 系统+软件 WinXP + Eclipse Version: 4.2.1 2. Hadoop4Win http://trac.nchc.org.tw/cloud/wiki/Hadoop4Win 注意:设置环境变量 path 添加:d:/hadoop4win/bin;3. Eclipse 3.1转载 2013-12-04 12:22:04 · 608 阅读 · 0 评论 -
Hadoop1.2.1源码解析系列:JT与TT之间的心跳通信机制——TT篇
在Hadoop中JT(JobTracker)与TT(TaskTracker)之间的通信是通过心跳机制完成的。JT实现InterTrackerProtocol协议,该协议定义了JT与TT之间的通信机制——心跳。心跳机制实际上就是一个RPC请求,JT作为Server,而TT作为Client,TT通过RPC调用JT的heartbeat方法,将TT自身的一些状态信息发送给JT,同时JT通过返回值返回对TT转载 2013-12-06 09:49:06 · 690 阅读 · 0 评论 -
Hadoop1.2.1源码解析系列:JT与TT之间的心跳通信机制——JT篇
上一篇浅析了Hadoop心跳机制的TT(TaskTracker)方面,这一篇浅析下JT(JobTracker)方面。我们知道心跳是TT通过RPC请求调用JT的heartbeat()方法的,TT在调用JT的heartbeat回收集自身的状态信息封装到TaskTrackerStatus对象中,传递给JT。下面看看JT如何处理来自TT的心跳。1.JobTracker.heartbeat(转载 2013-12-06 09:54:34 · 966 阅读 · 0 评论 -
hive和hbase的整合
hive hbase整合,要求比较多,1.hive的得是0.6.0(当前最新的版本) 2.hive本身要求hadoop的最高版本是hadoop-0.20.2 3.要求hbase的版本是0.20.3,其他版本需要重新编译hive_hbase-handler 但是新版的hbase(0.90)变动特别大,根本无法从编译。这点比较恶心,hbase目前升级比较快,当前是0.90(从0.20.6直转载 2014-01-16 16:39:29 · 900 阅读 · 0 评论