![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
anywn2
这个作者很懒,什么都没留下…
展开
-
windows下配置Hadoop(单机版)
1、首先确认安装了jdk,需要注意的是安装目录最好自定义选择在根目录下,这样就不会因为安装路径中的空格产生问题。 2、之后安装cygwin,安装步骤网上有很多。这里基本不会出什么问题,只要别忘了选择openssl和openssh两个安装包就可以了。安装完后配置环境变量。开启ss原创 2011-10-09 18:54:41 · 1075 阅读 · 0 评论 -
SSH登陆错误 WARNING: REMOTE HOST IDENTIFICATION HAS CHANGED!
Connection to 192.168.10.20 closed. [root@localhost ~]# ssh 192.168.10.88 @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ @原创 2011-10-09 19:29:02 · 493 阅读 · 0 评论 -
windows下hadoop集群的配置
我只配置了三台机器,每台机器都是相同的配置。slave机安装hadoop时将namenode的hadoop直接拷贝过去就可以了,不需要改动。 三台机器之间要进行ssh通信,将主机的cygwin\home\Administrator\.ssh目录下id_rsa.pub文件中的内容原创 2011-10-09 19:06:03 · 735 阅读 · 0 评论 -
MapReduce编程模型的要点
背景 MapReduce现在基本已经成为分布式并行编程框架的Bible,很多分布式计算引擎的实现[Hadoop][CIEL][Twister][Transformer][MR-mpi][Phoenix][Dryad]都将MapReduce作为一个核心的编程模型。 MapReduce编程模型是什么? 很多人都认为MapReduce只有这样两个过程构成: Map过程:Map(k1,v1)转载 2011-10-26 15:35:12 · 2041 阅读 · 0 评论 -
用hadoop大规模数据全局排序
使用hadoop进行大量的数据排序排序最直观的方法是把文件所有内容给map之后,map不做任何处理,直接输出给一个reduce,利用hadoop的自己的shuffle机制,对所有数据进行排序,而后由reduce直接输出。 然而这样的方法跟单机毫无差别,完全无法用到多机分布式计算的便利。因此这种方法是不行的。 利用hadoop分而治之的计算模型,可以参照快速排序的思想。在这里我们先简单回转载 2012-03-28 09:30:41 · 684 阅读 · 0 评论