Hadoop
云聪
喜欢简洁的抽象,也着迷神奇的细节,我担心自己因为过于偏向抽象而变得肤浅,也害怕自己因为太过深入细节而迷失,这让我很痛苦,但是我不会放弃挣扎,因为我相信挣扎的过程就是成长。
展开
-
在eclipse里配置Hadoop开发环境
1. 下载Hadoop的eclipse插件,放进eclipse的插件文件夹里。我下载的是:hadoop-eclipse-kepler-plugin-2.2.0.jar2. 在eclipse里配置Hadoop的安装目录。打开eclipse --> Window --> Preferences --> Hadoop Map/Reduce --> 如下图配置Hadoop的安装目录原创 2015-05-15 09:26:33 · 768 阅读 · 1 评论 -
MapReduce理解
分治算法模型有三步:(1)把大问题分解为小问题;(2)求解小问题;(3)合并小问题的解得到大问题的解。MapReduce计算模型就是一个分治算法模型:在Hadoop上编写程序,我们只需要实现map函数(对应于分治算法的第二步:对小问题求解)和reduce函数(对应于分治算法的第三步:合并小问题的解),因为Hadoop平台帮我们做了问题的分解这一步。从原创 2015-05-16 20:13:31 · 686 阅读 · 0 评论 -
Hadoop分布式集群搭建(一)创建hadoop用户、配置ssh、安装jdk
1.添加组及在组中添加一个用户:addgroup hadoopadduser --ingroup hadoop hadoop(第一hadoop是组名,第二个hadoop是用户名)原创 2015-05-11 12:59:03 · 1311 阅读 · 0 评论 -
Hadoop启动时报错:Incorrect configuration: namenode address dfs.namenode.servicerpc-address or...
Hadoop之前都是好好的,今天早上启动突然报错:Incorrect configuration: namenode address dfs.namenode.servicerpc-address or dfs.namenode.rpc-address is not configured.在网上一顿乱找,各种方法一阵乱试,都没有解决问题。这时,突然想到,问题可能是昨天正确启动到今天启动错误原创 2015-07-28 09:40:20 · 9076 阅读 · 1 评论 -
Hadoop分布式集群搭建(二 )完全分布式模式
1.两台主机host1(NameNode, DataNode, SecondaryNameNode, JobTracker, TaskTracker)host2(DataNode, TaskTracker)vi /etc/hostname(给每一台主机指定主机名)vi /hosts(给每一台主机指定主机名到ip地址的映射)2.更改临时目录的权限chmod 777 /原创 2015-05-11 16:28:55 · 646 阅读 · 0 评论 -
windows用Eclipse hadoop 插件 hadoop DFS Locations Error:Call
问题: windows用Eclipse hadoop插件,hadoop DFS Locations报错: Error:Call /:9000 failed on connection exception:java.netConnectExcetion: Connection refused:no further infomation解决方案: linux中某个端口拒绝远程主机连接原因及解决方法原创 2016-06-11 14:07:42 · 1988 阅读 · 0 评论