Hadoop学习笔记－入门伪分布式配置（Mac OS,0.21.0,Eclipse 3.6）

最新推荐文章于 2022-08-16 14:43:05 发布
最新推荐文章于 2022-08-16 14:43:05 发布
阅读量196 收藏
点赞数
分类专栏： hadoop 文章标签： 分布式 Hadoop HDFS 配置 Unix
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hnsnopy/article/details/84012576
版权
说实话，Hadoop的入门学习配置比我想像中的要简单，当然，Hadoop本身是比较复杂的（那么厚厚的一本书就能说明问题）。

开发环境：Mac OS（Unix）
Hadoop版本：0.21.0
Eclipse版本: 3.6.0

[b]第一步：下载Hadoop[/b]
下载地址：[url]http://hadoop.apache.org/common/releases.html#Download[/url]
[color=darkblue]注意，当前21版本的Hadoop是不稳定、不支持并且不保证安全的最新版本。[/color]

[b]第二步：配置Hadoop[/b]
将下载的Hadoop压缩文件解压缩，找到conf目录，打开core-site.xml，修改代码如下所示： 

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>
    <property>
        <name>fs.default.name</name>
        <value>localhost:9000</value>
    </property>
</configuration>


找到mapred-site.xml修改代码如下所示： 

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>
  <property>
    <name>mapred.job.tracker</name>
    <value>localhost:9001</value>
  </property>
</configuration>


找到hdfs-site.xml修改代码如下所示： 

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
</configuration>


找到hadoop-env.sh打开，加入以下配置

[quote]
export JAVA_HOME=/System/Library/Frameworks/JavaVM.framework/Versions/1.6.0/Home

export HADOOP_INSTALL=/Users/alex/Documents/DevRes/hadoop-0.21.0

export PATH=$PATH:$HADOOP_INSTALL/bin
[/quote]

其中，具体的目录根据你的实际情况配置。


[b]第二步：配置SSH[/b]
windows版本可安装openssh，本章主要介绍Mac OS，打开“系统偏好设置”，找到共享，勾选远程登录，如下图所示：
[img]http://dl.iteye.com/upload/attachment/549246/f1c8cf0f-2ced-32d0-bd79-cc6455ccea2b.png[/img]

[b]第三步：运行Hadoop[/b]
打开终端，定位到Hadoop目录输入以下命令：
bin/hadoop namenode -format
此时终端输出：
[quote]
DEPRECATED: Use of this script to execute hdfs command is deprecated.
Instead use the hdfs command for it.

11/09/04 21:19:38 INFO namenode.NameNode: STARTUP_MSG:
/************************************************************
STARTUP_MSG: Starting NameNode
STARTUP_MSG: host = localhost/127.0.0.1
STARTUP_MSG: args = [-format]
STARTUP_MSG: version = 0.21.0
STARTUP_MSG: classpath = /Users/alex/documents/devres/hadoop-0.21.0/bin/../conf:/System/Library/Frameworks/JavaVM.framework/Versions/1.6.0/Home/lib/tools.jar:/Users/alex/documents/devres/hadoop-0.21.0/bin/..:/Users/alex/documents/devres/hadoop-0.21.0/bin/../hadoop-common-0.21.0.ja


.........省略若干


STARTUP_MSG: build = https://svn.apache.org/repos/asf/hadoop/common/branches/branch-0.21 -r 985326; compiled by 'tomwhite' on Tue Aug 17 01:02:28 EDT 2010
************************************************************/
11/09/04 21:19:39 INFO namenode.FSNamesystem: defaultReplication = 1
11/09/04 21:19:39 INFO namenode.FSNamesystem: maxReplication = 512
11/09/04 21:19:39 INFO namenode.FSNamesystem: minReplication = 1
11/09/04 21:19:39 INFO namenode.FSNamesystem: maxReplicationStreams = 2
11/09/04 21:19:39 INFO namenode.FSNamesystem: shouldCheckForEnoughRacks = false
11/09/04 21:19:39 INFO security.Groups: Group mapping impl=org.apache.hadoop.security.ShellBasedUnixGroupsMapping; cacheTimeout=300000
11/09/04 21:19:39 INFO namenode.FSNamesystem: fsOwner=alex
11/09/04 21:19:39 INFO namenode.FSNamesystem: supergroup=supergroup
11/09/04 21:19:39 INFO namenode.FSNamesystem: isPermissionEnabled=true
11/09/04 21:19:39 INFO namenode.FSNamesystem: isAccessTokenEnabled=false accessKeyUpdateInterval=0 min(s), accessTokenLifetime=0 min(s)
11/09/04 21:19:39 INFO common.Storage: Image file of size 110 saved in 0 seconds.
11/09/04 21:19:39 INFO common.Storage: Storage directory /tmp/hadoop-alex/dfs/name has been successfully formatted.
11/09/04 21:19:39 INFO namenode.NameNode: SHUTDOWN_MSG:
/************************************************************
SHUTDOWN_MSG: Shutting down NameNode at localhost/127.0.0.1
************************************************************/
[/quote]

然后输入bin/start-all.sh
在启动期间会多次要求输入密码（你机器的登录密码）
此时终端输出：
[quote]
This script is Deprecated. Instead use start-dfs.sh and start-mapred.sh
starting namenode, logging to /Users/alex/documents/devres/hadoop-0.21.0/bin/../logs/hadoop-alex-namenode-localhost.out
Password:
localhost: starting datanode, logging to /Users/alex/documents/devres/hadoop-0.21.0/bin/../logs/hadoop-alex-datanode-localhost.out
Password:
localhost: starting secondarynamenode, logging to /Users/alex/documents/devres/hadoop-0.21.0/bin/../logs/hadoop-alex-secondarynamenode-localhost.out
starting jobtracker, logging to /Users/alex/documents/devres/hadoop-0.21.0/bin/../logs/hadoop-alex-jobtracker-localhost.out
Password:
localhost: starting tasktracker, logging to /Users/alex/documents/devres/hadoop-0.21.0/bin/../logs/hadoop-alex-tasktracker-localhost.out
[/quote]

[b]第四步：检查启动[/b]
打开连接地址[url]http://localhost:50070[/url]
如果找不到页面，请查看log日志（在hadoop目录中的log文件夹下），否则应当会看到以下页面：
[img]http://dl.iteye.com/upload/attachment/549251/9f616981-73c0-3260-8ce3-a66e2cd9f105.png[/img]
然后再打开地址[url]http://localhost:50030/[/url]
应当能看到以下页面（如果看不到，则证明你的jobtracker启动失败，请查看log）：
[img]http://dl.iteye.com/upload/attachment/549254/f9125c9c-577d-3982-8016-55966b0a1c4d.png[/img]

至此，Hadoop配置成功。

[b]第五步：测试[/b]
将一个文件拷贝到HDFS中，打开终端定位到Hadoop目录，输入以下命令：
bin/hadoop fs -copyFromLocal [源文件] [目标地址]

比如我输入的是：
bin/hadoop fs -copyFromLocal /Users/alex/desktop/persons.rtf hdfs://localhost/tmp/hadoop-alex

此时终端会输出以下文字：
[quote]
11/09/04 21:23:45 INFO security.Groups: Group mapping impl=org.apache.hadoop.security.ShellBasedUnixGroupsMapping; cacheTimeout=300000
11/09/04 21:23:45 WARN conf.Configuration: mapred.task.id is deprecated. Instead, use mapreduce.task.attempt.id
[/quote]
这样代表成功。


[b]第六步：配置Eclipse[/b]
首先找到目录hadoop-0.21.0/mapred/contrib/eclipse-plugin，然后将里面的eclipse-plugin复制到你的Eclipse的plugin文件夹中。
注意，如果该插件无法使用，本文下方有提供。如果还不能使用，请尝试在网络上寻找。

此时打开Eclipse，在Open Perspective中选择其它，找到Map/Reduce视图，打开它。
此时你会发现在Project Explorer和下面的视图中多了一个DFS Locations，右键新建Location如下图所示：
[img]http://dl.iteye.com/upload/attachment/549258/051b5d61-59e4-3f2d-b474-7eb98aedce77.png[/img]

此时会打开一个窗口，对其进行配置，端口号就是我们刚才在core-site.xml中配置的端口好，既9000，如下图所示：
[img]http://dl.iteye.com/upload/attachment/549260/49734934-3277-3aec-909f-fb77008191bc.png[/img]
点击确定后即可在左边的Project Explorer面板中对DFS Location进行展开，如下图所示：
[img]http://dl.iteye.com/upload/attachment/549262/3623596b-eb19-3a16-a32d-99ae44acb2ca.png[/img]

[b]第六步：在Eclipse中写代码[/b]
在Map/Reduce视图中新建一个Map/Reduce项目（该项目与普通Java项目没什么区别），新建一个Java类，该类主要用于读取我们前面复制到HDFS中的那个文件内容： 

package cn.com.fri;

import java.io.FileNotFoundException;
import java.io.IOException;
import java.net.URISyntaxException;

import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FileContext;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;
import org.apache.hadoop.security.AccessControlException;

public class Test {
	public static void main(String[] args) throws AccessControlException,
			FileNotFoundException, IOException, URISyntaxException {
		FileContext fc = FileContext
				.getFileContext();//如果运行在hadoop location中，不需要配置URI，否则需要给一个URI
		FSDataInputStream fsInput = fc.open(new Path(
				"/tmp/hadoop-alex/persons.rtf"));
		IOUtils.copyBytes(fsInput, System.out, 4090, false);
		fsInput.seek(0);
		IOUtils.copyBytes(fsInput, System.out, 4090, false);
	}
}

然后右键->Run As->Run on hadoop，此时会让你选择一个location，就选中我们刚才新建的location即可。

因为我用了seek并给了一个位置，所以会打印两遍结果如下：

[quote]
11/09/04 22:32:33 WARN conf.Configuration: DEPRECATED: hadoop-site.xml found in the classpath. Usage of hadoop-site.xml is deprecated. Instead use core-site.xml, mapred-site.xml and hdfs-site.xml to override properties of core-default.xml, mapred-default.xml and hdfs-default.xml respectively
11/09/04 22:32:33 WARN conf.Configuration: fs.default.name is deprecated. Instead, use fs.defaultFS
11/09/04 22:32:33 INFO security.Groups: Group mapping impl=org.apache.hadoop.security.ShellBasedUnixGroupsMapping; cacheTimeout=300000
11/09/04 22:32:33 WARN conf.Configuration: mapred.task.id is deprecated. Instead, use mapreduce.task.attempt.id
{\rtf1\ansi\ansicpg936\cocoartf1038\cocoasubrtf360
{\fonttbl\f0\fnil\fcharset134 STHeitiSC-Light;}
{\colortbl;\red255\green255\blue255;}
{\*\listtable{\list\listtemplateid1\listhybrid{\listlevel\levelnfc0\levelnfcn0\leveljc0\leveljcn0\levelfollow0\levelstartat1\levelspace360\levelindent0{\*\levelmarker \{decimal\}.}{\leveltext\leveltemplateid1\'02\'00.;}{\levelnumbers\'01;}\fi-360\li720\lin720 }{\listname ;}\listid1}}
{\*\listoverridetable{\listoverride\listid1\listoverridecount0\ls1}}
\paperw11900\paperh16840\margl1440\margr1440\vieww11680\viewh11900\viewkind0
\pard\tx220\tx720\tx1133\tx1700\tx2267\tx2834\tx3401\tx3968\tx4535\tx5102\tx5669\tx6236\tx6803\li720\fi-720\ql\qnatural\pardirnatural
\ls1\ilvl0
\f0\fs24 \cf0 {\listtext 1. }\'d0\'ec\'d6\'f9\'a3\'ac\
{\listtext 2. }\'c0\'ee\'cf\'fe\'c0\'f2\'a3\'ac\
{\listtext 3. }\'d5\'d4\'d6\'f9\'a3\'ac\
{\listtext 4. }\'d6\'ec\'b9\'e3\'b7\'ef\'a3\'ac\
{\listtext 5. }\'d0\'bb\'c0\'e8\'c0\'e8\'a3\'ac\
{\listtext 6. }\'d6\'ec\'ce\'b0\'a3\'ac\
{\listtext 7. }\'d5\'c5\'b5\'a4\'b5\'a4\'a3\'ac\
{\listtext 8. }\'c0\'ee\'b5\'a4\'a3\'ac\
{\listtext 9. }\'b2\'b7\'ce\'c4\'c4\'c8\'a3\'ac\
{\listtext 10. }\'d6\'dc\'ca\'ab\'a3\'ac\
{\listtext 11. }\'d5\'d4\'cd\'ee\'b6\'ab\'a3\'ac\
{\listtext 12. }\'b9\'f9\'b7\'ad\'b5\'dc\'a3\'ac\
{\listtext 13. }\'cc\'c6\'be\'fc\'b2\'a8\'a3\'ac\
{\listtext 14. }\'b8\'df\'cf\'e8\'a3\'ac\
{\listtext 15. }\'d1\'a6\'c3\'cd\'a3\'ac\
{\listtext 16. }\'ba\'fa\'b3\'a4\'ba\'d8\'a3\'ac\
{\listtext 17. }\'c0\'ee\'c7\'bf\'a3\'ac\
{\listtext 18. }\'c0\'ee\'bb\'d4\'a3\'ac\
{\listtext 19. }\'c8\'ce\'c5\'f4\'a3\'ac\
{\listtext 20. }\'d7\'db\'bc\'d2\'c7\'ed\'a3\'ac\
{\listtext 21. }\'b6\'a1\'d1\'de\'a3\'ac\
{\listtext 22. }\'b6\'ad\'c1\'c1\'a3\'ac\
{\listtext 23. }\'c3\'ab\'ba\'ec\'a3\'ac\
{\listtext 24. }\'c5\'ed\'c7\'e5\'d4\'b4\'a3\'ac\
{\listtext 25. }\'c3\'cf\'c7\'ec\'bf\'c2\'a3\'ac\
{\listtext 26. }\'c0\'ee\'b7\'e5\'a3\'ac\
{\listtext 27. }\'c2\'ed\'c1\'d6\'a3\'ac\
{\listtext 28. }\'b3\'c9\'b3\'cc\'a3\'ac\
{\listtext 29. }\'b7\'b6\'c9\'dc\'b4\'a8\'a3\'ac\
{\listtext 30. }\'c4\'aa\'b7\'bc\'a3\'ac\
{\listtext 31. }\'b6\'a1\'cc\'ce\'a3\'ac\
{\listtext 32. }\'b6\'c5\'d3\'b0\'a3\'ac\
{\listtext 33. }\'c0\'ee\'b7\'ef\'a3\'ac\
{\listtext 34. }\'ba\'ab\'c3\'f7\'c3\'f7\'a3\'ac\
{\listtext 35. }\'c9\'f2\'cf\'fe\'c0\'f6\'a3\'ac\
{\listtext 36. }\'d0\'ed\'b3\'c9\'a3\'ac\
{\listtext 37. }\'d5\'d4\'d5\'f1\'a3\'ac\
{\listtext 38. }\'c2\'de\'be\'b2\'a3\'ac\
{\listtext 39. }\'b6\'c5\'d3\'b0\'a3\'ac\
{\listtext 40. }\'d6\'ec\'b7\'ef\'a3\'ac\
{\listtext 41. }\'cb\'e5\'c0\'f6\'a3\'ac\
{\listtext 42. }\'ba\'fa\'d1\'f4\'d1\'f4\'a3\'a8\'ba\'fa\'d5\'f1\'a3\'a9\'a3\'ac\
{\listtext 43. }\'c2\'ed\'cf\'fe\'c3\'b7\
{\listtext 44. }\'b5\'cb\'b1\'f3\'a3\'ac\
{\listtext 45. }\'cf\'ee\'c3\'ce\'e9\'aa\'a3\'ac\
{\listtext 46. }\'d1\'ee\'c1\'f8\'a3\'ac\
{\listtext 47. }\'b8\'f0\'ea\'bb\
}{\rtf1\ansi\ansicpg936\cocoartf1038\cocoasubrtf360
{\fonttbl\f0\fnil\fcharset134 STHeitiSC-Light;}
{\colortbl;\red255\green255\blue255;}
{\*\listtable{\list\listtemplateid1\listhybrid{\listlevel\levelnfc0\levelnfcn0\leveljc0\leveljcn0\levelfollow0\levelstartat1\levelspace360\levelindent0{\*\levelmarker \{decimal\}.}{\leveltext\leveltemplateid1\'02\'00.;}{\levelnumbers\'01;}\fi-360\li720\lin720 }{\listname ;}\listid1}}
{\*\listoverridetable{\listoverride\listid1\listoverridecount0\ls1}}
\paperw11900\paperh16840\margl1440\margr1440\vieww11680\viewh11900\viewkind0
\pard\tx220\tx720\tx1133\tx1700\tx2267\tx2834\tx3401\tx3968\tx4535\tx5102\tx5669\tx6236\tx6803\li720\fi-720\ql\qnatural\pardirnatural
\ls1\ilvl0
\f0\fs24 \cf0 {\listtext 1. }\'d0\'ec\'d6\'f9\'a3\'ac\
{\listtext 2. }\'c0\'ee\'cf\'fe\'c0\'f2\'a3\'ac\
{\listtext 3. }\'d5\'d4\'d6\'f9\'a3\'ac\
{\listtext 4. }\'d6\'ec\'b9\'e3\'b7\'ef\'a3\'ac\
{\listtext 5. }\'d0\'bb\'c0\'e8\'c0\'e8\'a3\'ac\
{\listtext 6. }\'d6\'ec\'ce\'b0\'a3\'ac\
{\listtext 7. }\'d5\'c5\'b5\'a4\'b5\'a4\'a3\'ac\
{\listtext 8. }\'c0\'ee\'b5\'a4\'a3\'ac\
{\listtext 9. }\'b2\'b7\'ce\'c4\'c4\'c8\'a3\'ac\
{\listtext 10. }\'d6\'dc\'ca\'ab\'a3\'ac\
{\listtext 11. }\'d5\'d4\'cd\'ee\'b6\'ab\'a3\'ac\
{\listtext 12. }\'b9\'f9\'b7\'ad\'b5\'dc\'a3\'ac\
{\listtext 13. }\'cc\'c6\'be\'fc\'b2\'a8\'a3\'ac\
{\listtext 14. }\'b8\'df\'cf\'e8\'a3\'ac\
{\listtext 15. }\'d1\'a6\'c3\'cd\'a3\'ac\
{\listtext 16. }\'ba\'fa\'b3\'a4\'ba\'d8\'a3\'ac\
{\listtext 17. }\'c0\'ee\'c7\'bf\'a3\'ac\
{\listtext 18. }\'c0\'ee\'bb\'d4\'a3\'ac\
{\listtext 19. }\'c8\'ce\'c5\'f4\'a3\'ac\
{\listtext 20. }\'d7\'db\'bc\'d2\'c7\'ed\'a3\'ac\
{\listtext 21. }\'b6\'a1\'d1\'de\'a3\'ac\
{\listtext 22. }\'b6\'ad\'c1\'c1\'a3\'ac\
{\listtext 23. }\'c3\'ab\'ba\'ec\'a3\'ac\
{\listtext 24. }\'c5\'ed\'c7\'e5\'d4\'b4\'a3\'ac\
{\listtext 25. }\'c3\'cf\'c7\'ec\'bf\'c2\'a3\'ac\
{\listtext 26. }\'c0\'ee\'b7\'e5\'a3\'ac\
{\listtext 27. }\'c2\'ed\'c1\'d6\'a3\'ac\
{\listtext 28. }\'b3\'c9\'b3\'cc\'a3\'ac\
{\listtext 29. }\'b7\'b6\'c9\'dc\'b4\'a8\'a3\'ac\
{\listtext 30. }\'c4\'aa\'b7\'bc\'a3\'ac\
{\listtext 31. }\'b6\'a1\'cc\'ce\'a3\'ac\
{\listtext 32. }\'b6\'c5\'d3\'b0\'a3\'ac\
{\listtext 33. }\'c0\'ee\'b7\'ef\'a3\'ac\
{\listtext 34. }\'ba\'ab\'c3\'f7\'c3\'f7\'a3\'ac\
{\listtext 35. }\'c9\'f2\'cf\'fe\'c0\'f6\'a3\'ac\
{\listtext 36. }\'d0\'ed\'b3\'c9\'a3\'ac\
{\listtext 37. }\'d5\'d4\'d5\'f1\'a3\'ac\
{\listtext 38. }\'c2\'de\'be\'b2\'a3\'ac\
{\listtext 39. }\'b6\'c5\'d3\'b0\'a3\'ac\
{\listtext 40. }\'d6\'ec\'b7\'ef\'a3\'ac\
{\listtext 41. }\'cb\'e5\'c0\'f6\'a3\'ac\
{\listtext 42. }\'ba\'fa\'d1\'f4\'d1\'f4\'a3\'a8\'ba\'fa\'d5\'f1\'a3\'a9\'a3\'ac\
{\listtext 43. }\'c2\'ed\'cf\'fe\'c3\'b7\
{\listtext 44. }\'b5\'cb\'b1\'f3\'a3\'ac\
{\listtext 45. }\'cf\'ee\'c3\'ce\'e9\'aa\'a3\'ac\
{\listtext 46. }\'d1\'ee\'c1\'f8\'a3\'ac\
{\listtext 47. }\'b8\'f0\'ea\'bb\
}
[/quote]

rtf中存放的是中文。
＝＝＝＝＝＝＝＝＝＝＝＝＝＝文章结束＝＝＝＝＝＝＝＝＝＝＝＝＝

今天所学习到的地方就到这里。
HNsnopy
关注
专栏目录
hadoop集群搭建--伪分布式
MengShi_的博客
03-28 4303
前情提要。我们搭建了单节点也就是本地hadoop集群。我直接以此为基础 扩展到伪分布式集群 目录 一、hadoop伪分布式 操作系统 软件要求 三、配置详情 1.安装虚拟机和配置网络 2. 上传jdk和hadoop 安装VMware tools 设置共享文件夹 3. 安装jdk和hadoop 解压jdk和hadoop 创建软链接 4. 配置环境变量...
Hadoop0.21.0源码编译方法
npucloud的专栏
05-12 2778
Author:谢 本文介绍在Linux下使用eclipse编译Hadoop0.21.0源码
Hadoop——Configuration类详解
d_l_w_d_l_w的博客
08-03 2489
转自:http://blog.csdn.net/ghuilee/article/details/45771003 1.configuration类简介 Hadoop没有使用java.util.Properties管理配置文件，也没有使用Apache Jakarta Commons Configuration管理配置文件，而是使用了一套独有的配置文件管理系统，并提供自己的API，即使用org.apache.hadoop.conf.Configuration处理配置信息。这个类是作业的配置信息类，任何作用的配置
hadoop格式化namenode失败
HEVC_CJL的专栏
05-12 5776
原文地址：http://hi.baidu.com/leibin_neu/item/467e2213104821483a176e12 一下是错误信息： [root@localhost conf]# hadoop namenode -format 12/07/11 21:48:35 INFO namenode.NameNode: STARTUP_MSG: /********
Hadoop2.7.1 安装提示SHUTDOWN_MSG: Shutting down NameNode at java.net.UnknownHostException
热门推荐
简单-生活
03-12 3万+
刚配置Hadoop2.7.1 格式化namenode时报出这个这个错误 /************************************************************ SHUTDOWN_MSG: Shutting down NameNode at java.net.UnknownHostException: xxx: xxx: Name or service not
一、Hadoop主要配置文件的作用
伟庭的博客
11-30 4317
Hadoop主要配置文件的作用
Hadoop技术-Hadoop伪分布式安装.pptx
最新发布
11-02
伪分布式安装是Hadoop技术中的一个重要组件，通过设置SSH免密码、安装JDK和Hadoop、配置环境变量、修改配置文件等步骤，可以完成伪分布式安装。这种安装方式可以模拟一个小规模的集群，方便开发人员测试程序的执行。...
【IT十八掌徐培成】Hadoop第01天-04.hadoop配置独立模式-伪分布式.zip
08-13
6. "Hadoop第01天-04.hadoop配置独立模式-伪分布式.avi"视频文件可能包含徐培成老师的详细演示和讲解，帮助用户直观地了解配置过程和解决常见问题，是学习和实践Hadoop配置的宝贵资源。 总之，理解并掌握Hadoop的...
hadoop-eclipse-plugin1.2.1 and hadoop-eclipse-plugin2.8.0
12-02
《Hadoop Eclipse Plugin：开发利器的进化》 在大数据领域，Hadoop作为开源分布式计算框架，扮演着核心角色。为了方便开发者在Eclipse或MyEclipse这样的集成开发环境中高效地进行Hadoop应用开发，Hadoop-Eclipse-...
hadoop-eclipse-plugin-3.1.1.tar.gz
08-03
Hadoop-Eclipse-Plugin-3.1.1是一款专为Eclipse集成开发环境设计的插件，用于方便地在Hadoop分布式文件系统(HDFS)上进行开发和调试MapReduce程序。这款插件是Hadoop生态系统的组成部分，它使得Java开发者能够更加...
Hadoop格式化HDFS报错java.net.UnknownHostException: localhost.localdomain: localhost.localdomain
zhaogezhuoyuezhao的专栏
03-07 1167
异常描述 在对HDFS格式化，执行hadoop namenode -format命令时，出现未知的主机名的问题，异常信息如下所示： [plain] view plaincopy  [shirdrn@localhost bin]$ hadoop namenode -format   11/06/22 07:33:31 INFO namenode.NameNode: STARTUP_M
Hadoop 1.0.3 安装配置笔记
greensurfer的专栏
05-24 1万+
Hadoop 1.0.3 安装配置笔记 环境：操作系统Centos 6.2 64-bit --我采用的是最小安装 VMWare虚拟机4个，计划部署分配如下： 192.168.181.121 nameNode 192.168.181.122 dataNode 192.168.181.123 dataNode 192.168.181.124 dataNode 各dataNod
Hadoop格式化HDFS报错
Row Row Row your boat
12-06 2347
由hostname引起datanode无法正常启动的一个问题    安装hadoop 2.5.X版本的虚拟机群，在初始化 namenode 时候遇到了如下错误： SHUTDOWN_MSG: Shutting down NameNode at java.net.UnknownHostException: datanode: datanode: unknown error    如果忽略该错
Hadoop学习-错误记录：namenode、datanode、secondarynamenode未启动
摘果子的人的博客
09-02 1403
1、在ubuntu 16.04系统中，采用伪分布配置，在账户A上启动hadoop 2.7.3失败，namenode、datanode、secondarynamenode未启动，查看hadoop-hadoop-namenode-ubuntu.log，错误信息如下： 2017-09-02 02:33:30,597 INFO org.apache.hadoop.http.HttpServer2: Htt
Hadoop CentOS 7 安装配置
weixin_33950035的博客
11-24 231
本篇根据 给力星 改动而来，文尾有来源 简介 Hadoop是一个由Apache基金会所开发的分布式系统基础架构。 用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。 [1] Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称...
linux下搭建hadoop-1.2.1
zhengfushijie的专栏
08-13 513
Hadoop的代码可以到Apache上下载，链接为http://archive.apache.org/dist/hadoop/core/hadoop-0.19.0/，我使用的Linux机器是ubuntu12.10，Linux上安装的Java版本为1.7.0_51，并且JAVA_HOME=/usr/java/jdk1.7.0_51。   实践过程   1、ssh无密码验证登陆localhos
安装伪分布的Hadoop时SHUTDOWN_MSG: Shutting down NameNode at xxx并不一定是namenode格式化失败
weixin_42069087的博客
06-04 9441
在第一次安装hadoop集群环境时，很多教程会有说 所以在输入# bin/hdfs namenode -format后，整个日志的最后会出现 也就认为是自己操作出问题了。BUT！！！信息中隐藏着 也就是说，其实操作是正确的。一定要细心看内容！ 博主因为这个忽略整整忙活了一天，然而都是白忙活。望以此为戒，初学者们都安装顺利 ...
云计算的利刃：快速部署Hadoop集群
Rebulid Myself
08-31 1090
云计算的利刃：快速部署Hadoop集群 2011年08月29日00:05 it168网站原创 作者：红丸 编辑：王玉圆 评论：2条 　　【IT168 专稿】近来云计算越来越热门了，云计算已经被看作IT业的新趋势。云计算可以粗略地定义为使用自己环境之外的某一服务提供
hadoop 的Configuration 配置的使用。
m0_67403240的博客
08-16 1035
将build.xml放入conf中。Configuration类无处不在，初学Hadoop的人都知道配置参数是在core-site.xml文件中进行的，所以这个类的目的也就明确了，默认情况下hadoop的Configuration类会按照顺序加载两个文件，文件的路径是通过classpath得到的（这里的classpath是指应用运行的类路径。xml文件中：资源以xml形式的数据表示，由一系列的键值对组成。1、core-default.xml： hadoop的只读文件 位于src/core/文件夹中。...
Eclipse中配置并运行Hadoop-0.20.1伪分布式教程
在本文档中，我们将详细介绍如何在Eclipse环境中编译和运行Hadoop-0.20.1的源码，特别是在Linux环境下进行Hadoop的伪分布式部署。以下是步骤详解： 1. **环境准备**: 首先，确认Eclipse的JDK和JRE版本需在1.6及...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值