![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
z_l_l_m
这个作者很懒,什么都没留下…
展开
-
解决hbase和hdfs的hadoop版本不兼容问题
假设你的hbase和hdfs的hadoop版本不同,但是我们的业务是将hbase的数据写入hdfs。该如何解决呢? 我们的方法是动态加载jar包。 1.Hbase和Hdfs分别定义借口HbaseInterface和HdfsInterface。 2.分别封装hbase和hdfs的方法生成相关jar包HbaseOperation.jar和HdfsOperation.jar。原创 2012-12-18 16:12:06 · 3080 阅读 · 0 评论 -
从Hadoop框架与MapReduce模式中谈海量数据处理(含淘宝技术架构)
转自 http://blog.csdn.net/v_july_v/article/details/6704077 前言 几周前,当我最初听到,以致后来初次接触Hadoop与MapReduce这两个东西,我便稍显兴奋,觉得它们很是神秘,而神秘的东西常能勾起我的兴趣,在看过介绍它们的文章或论文之后,觉得Hadoop是一项富有趣味和挑战性的技术,且它还牵扯到了一个我更加感兴趣的话题:海转载 2013-01-30 17:12:08 · 851 阅读 · 0 评论 -
hadoop RPC 机制
转载 http://blog.sina.com.cn/s/blog_7973e0f101014ckc.htmlRPC(Remote Procedure Call Protocol)远程过程调用协议,它是一种通过网络从远程计算机程序上请求服务,而不需要了解底层网络技术的协议。Hadoop底层的交互都是通过 rpc进行的。例如:datanode和namenode 、tasktracker和jobt转载 2013-01-30 14:49:48 · 921 阅读 · 0 评论 -
Hadoop-map reduce处理过程
1、 在hadoop中,每个MapReduce任务都被初始化为一个Job。每个Job又可以分成两个阶段:map阶段和reduce阶段;map函数接受一个形式的输入,然后同样产生一个形式的中间输出,Hadoop会负责将所有具有相同结果中间key值的value集合到一起传给reduce函数,reduce函数接受一个如形式的输入,然后对这个value集合进行处理,每个reduce产生0或1个输出,red转载 2013-01-30 15:13:29 · 2311 阅读 · 0 评论 -
Hadoop及子项目介绍
Hadoop是Apache的一个项目(http://hadoop.apache.org/),它是一个实现了MapReduce计算模型的可以运用于大型集群并行计算的分布式并行计算编程框架。 目前,整个Hadoop家族由以下几个子项目组成: Hadoop CommonHadoop体系最底层的一个模块,为Hadoop各子项目提供各种工具,如:配置文件和日志操作等。 Avro转载 2013-01-30 18:07:19 · 987 阅读 · 0 评论 -
在ubuntu中配置SSH(解决connect to host localhost port 22: Connection refused问题)
简单地说配置hadoop时必须的一步就是保证ssh是联通的。如果你的ubuntu中没有安装ssh,具体的安装步骤是这样的:1到https://launchpad.net/ubuntu/lucid/i386/openssh-client/1:5.3p1-3ubuntu3。下载文件” openssh-client_5.3p1-3ubuntu3_i386.deb”并在终端中安装。转载 2013-03-11 16:30:26 · 3008 阅读 · 0 评论 -
hive job oom问题
错误信息如下:Container [pid=26845,containerID=container_1419056923480_0212_02_000001] is running beyond virtual memory limits. Current usage: 262.8 MB of 2 GB physical memory used; 4.8 GB of 4.2 GB virtua原创 2015-06-26 18:28:33 · 1935 阅读 · 0 评论