![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
空中乘客
Do The Right Thing.
个人主页:deepspark.cn
展开
-
Ubuntu12.04上编译hadoop-eclipse-plugin-1.0.4.jar包
1、在Eclipse中选择File-->Import-->Existing Projects into Workspace导入已有项目,假设路径为:$HADOOP_HOME/src/contrib/eclipse-plugin,其默认的项目名称是MapReduceTools。导入后因为找不到hadoop-core.jar包,所以项目上有红色感叹号,不用管它【后面lib包加入后会消失】原创 2013-01-15 16:36:46 · 1209 阅读 · 0 评论 -
Windows下Hadoop启动出错
好久接触Hadoop了,以前大都是虚拟机linux里面弄的,但最近电脑太卡了,所以只好在windows下用cygwin模拟linux环境来学hadoop。在windows下搭建hadoop环境很容易出现错误,以前就因为路径中出现了空格,导致整了好久才将问题解决。今天在启动hadoop时出现了如下错误:localhost:/usr/bin/ssh.exe: error while loadi原创 2013-07-05 11:36:13 · 1286 阅读 · 0 评论 -
Hbase配置时出错处理
今天在rhel下配置hbase环境【Hadoop-1.0.1、Hbase-0.92.1版本】,所有步骤都是按照官方文档来操作的,结果每次在创建表时就会出错:SLF4J: Class path contains multiple SLF4J bindings.SLF4J: Found binding in [jar:file:/home/hadooptest/hbase-0.92.0-sec原创 2012-05-28 17:20:15 · 2977 阅读 · 0 评论 -
Google Dremel 原理 - 如何能3秒分析1PB
简介Dremel 是Google 的“交互式”数据分析系统。可以组建成规模上千的集群,处理PB级别的数据。MapReduce处理一个数据,需要分钟级的时间。作为MapReduce的发起人,Google开发了Dremel将处理时间缩短到秒级,作为MapReduce的有力补充。Dremel作为Google BigQuery的report引擎,获得了很大的成功。最近Apache计划推出Dremel的转载 2012-10-26 15:40:55 · 869 阅读 · 0 评论 -
RPC、RMI与MOM与组播 通信原理
远程过程调用(RPC):即对远程站点机上的过程进行调用。当站点机A上的一个进程调用另一个站点机上的过程时,A上的调用进程挂起,B上的被调用过程执行,并将结果返回给调用进程,使调用进程继续执行【B上的被调用过程的参数和执行结果在调用和被调用进程之间是通过消息传递来实现的,表现为C/S关系】为实现不同站点机上的RPC,调用和被调用进程各方都要保留一个用于存放过程参数和执行结果的运行栈,分别称为原创 2012-06-02 13:28:08 · 2114 阅读 · 0 评论 -
hadoop作业调优参数整理及原理
转载自:http://www.oschina.net/question/12_154591 Map side tuning参数1.1 MapTask运行内部原理当map task开始运算,并产生中间数据时,其产生的中间结果并非直接就简单的写入磁盘。这中间的过程比较复杂,并且利用到了内存buffer来进行已经产生的 部分结果的缓存,并在内存buffer中进行一些预排序来优化整个map转载 2012-05-31 15:54:47 · 758 阅读 · 0 评论