![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Haoop
文章平均质量分 74
画蛇添足
我是一个人!
展开
-
从0搭建hadoop环境
1.首先准备三台机器:centos1centos2centos32.设置从centos1到其他两台机器的免密登录在centos1上执行命令:ssh-keygen -t rsa然后一路回车,接着执行如下命令:ssh-copy-id -i ~/.ssh/id_rsa.pub root@centos2ssh-copy-id -i ~/.ssh/id_rsa.pub root@centos33.下载jdk和hadoop安装包jdk:https://www.oracle.c原创 2020-11-14 22:23:17 · 252 阅读 · 0 评论 -
hadoop join之semi join
SemiJoin,也叫半连接,是从分布式数据库中借鉴过来的方法。它的产生动机是:对于reduce side join,跨机器的数据传输量非常大,这成了join操作的一个瓶颈,如果能够在map端过滤掉不会参加join操作的数据,则可以大大节省网络IO。实现方法很简单:选取一个小表,假设是File1,将其参与join的key抽取出来,保存到文件File3中,File3文件一般很小,可以放到内存中。在m原创 2012-08-02 16:03:55 · 5299 阅读 · 0 评论 -
hadoop join之map side join
在本例中,我们仍然采用上一例中的数据文件。之所以存在reduce side join,是因为在map阶段不能获取所有需要的join字段,即:同一个key对应的字段可能位于不同map中。Reduce side join是非常低效的,因为shuffle阶段要进行大量的数据传输。Map side join是针对以下场景进行的优化:两个待连接表中,有一个表非常大,而另一个表非常小,以至于小表可以直接存放到原创 2012-08-02 10:28:37 · 8494 阅读 · 3 评论 -
hadoop之二次排序
mr自带的例子中的源码SecondarySort,我重新写了一下,基本没变。这个例子中定义的map和reduce如下,关键是它对输入输出类型的定义:(java泛型编程) public static class Map extends Mapperpublic static class Reduce extends Reducer1 首先说一下工作原理:在map阶段,使用jo转载 2012-08-07 10:10:31 · 1056 阅读 · 0 评论 -
集群环境下配置hadoop1.0,zookeeper,hbase
1.本环境采用两台linux环境,ip分别为: 192.168.56.101 192.168.56.102 分别修改两台机器的/etc/hosts文件,增加如下内容: 192.168.56.101 master 192.168.56.102 slave 我们以master作为namenode服务器,slave为datenode服务器,首先安装jdk并配置环境变量和ssh(安原创 2012-08-11 10:26:45 · 710 阅读 · 0 评论 -
hadoop join之二
在介绍这个实例之前,请各位参考:http://bjyjtdj.iteye.com/blog/1453410。reduce side join是一种最简单的join方式,其主要思想如下: 在map阶段,map函数同时读取两个文件File1和File2,为了区分两种来源的key/value数据对,对每条数据打一个标签(tag),比如:tag=0表示来自文件File1,tag=2表示来自文件Fi原创 2012-08-01 17:29:30 · 8746 阅读 · 17 评论 -
搭建spark的开发环境
1.pom文件添加依赖:<dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-core_2.11</artifactId> <version>2.3.2</version></dependency&g原创 2018-10-19 13:37:50 · 270 阅读 · 0 评论