hadoop学习之单机环境搭建

最新推荐文章于 2023-03-20 22:04:28 发布

克念

最新推荐文章于 2023-03-20 22:04:28 发布

阅读量457

点赞数

分类专栏： hadoop 文章标签： hadoop linux java

本文链接：https://blog.csdn.net/shikenian520/article/details/40317569

版权

hadoop 专栏收录该内容

5 篇文章 0 订阅

订阅专栏

环境：ubuntu 14 64位

hadoop版本：1.2.1 release

hadoop包下载url地址：http://apache.fayea.com/apache-mirror/hadoop/common/hadoop-1.2.1/

hadoop文件的名称：hadoop-1.2.1.tar.gz

hadoop的配置分为

1）单机模式配置方式

2）伪分布式配置方式（就是把单机看做只有一个节点的hadoop集群，当前集群是slave，也是master；是NameNode，也是DataNode；是JobTraker，也是TaskTraker）

我采取了伪分布式配置方式，配置方式如下：

1）conf/core-site.xml

配置hdfs的地址和端口号

<configuration>
        <!--hdfs config-->
        <property>
                <name>fs.default.name</name>
                <value>hdfs://localhost:9000</value>
        </property>
</configuration>

2）conf/hdfs-site.xml

配置hdfs，一般情况下，值是3，但是因为是单机的情况，所以值位1

<configuration>
        <name>dfs.replication</name>
        <!--only one computer,so the value should be 1,default is 3-->
        <value>1</value>
</configuration>

3）mapred-site.xml
配置JobTraker的地址和端口号

接下来可以启动hadoop，不过在这之前，需要先格式化一下hdfs文件系统。

执行：

 bin/hadoop namenode -format
出现下面一大堆的提示的时候，表示执行成功了
<pre name="code" class="plain">14/10/20 21:19:55 INFO namenode.NameNode: STARTUP_MSG: 
/************************************************************
STARTUP_MSG: Starting NameNode
STARTUP_MSG:   host = zero/127.0.1.1
STARTUP_MSG:   args = [-format]
STARTUP_MSG:   version = 1.2.1
STARTUP_MSG:   build = https://svn.apache.org/repos/asf/hadoop/common/branches/branch-1.2 -r 1503152; compiled by 'mattf' on Mon Jul 22 15:23:09 PDT 2013
STARTUP_MSG:   java = 1.7.0_67
************************************************************/
14/10/20 21:19:55 INFO util.GSet: Computing capacity for map BlocksMap
14/10/20 21:19:55 INFO util.GSet: VM type       = 64-bit
14/10/20 21:19:55 INFO util.GSet: 2.0% max memory = 932184064
14/10/20 21:19:55 INFO util.GSet: capacity      = 2^21 = 2097152 entries
14/10/20 21:19:55 INFO util.GSet: recommended=2097152, actual=2097152
14/10/20 21:19:55 INFO namenode.FSNamesystem: fsOwner=shikenian
14/10/20 21:19:55 INFO namenode.FSNamesystem: supergroup=supergroup
14/10/20 21:19:55 INFO namenode.FSNamesystem: isPermissionEnabled=true
14/10/20 21:19:55 INFO namenode.FSNamesystem: dfs.block.invalidate.limit=100
14/10/20 21:19:55 INFO namenode.FSNamesystem: isAccessTokenEnabled=false accessKeyUpdateInterval=0 min(s), accessTokenLifetime=0 min(s)
14/10/20 21:19:55 INFO namenode.FSEditLog: dfs.namenode.edits.toleration.length = 0
14/10/20 21:19:55 INFO namenode.NameNode: Caching file names occuring more than 10 times 
14/10/20 21:19:56 INFO common.Storage: Image file /tmp/hadoop-shikenian/dfs/name/current/fsimage of size 115 bytes saved in 0 seconds.
14/10/20 21:19:56 INFO namenode.FSEditLog: closing edit log: position=4, editlog=/tmp/hadoop-shikenian/dfs/name/current/edits
14/10/20 21:19:56 INFO namenode.FSEditLog: close success: truncate to 4, editlog=/tmp/hadoop-shikenian/dfs/name/current/edits
14/10/20 21:19:56 INFO common.Storage: Storage directory /tmp/hadoop-shikenian/dfs/name has been successfully formatted.
14/10/20 21:19:56 INFO namenode.NameNode: SHUTDOWN_MSG: 
/************************************************************
SHUTDOWN_MSG: Shutting down NameNode at zero/127.0.1.1
************************************************************/

接下来启动hadoop

到bin目录下执行：

然后到到浏览器输入url地址

1）MapReduce web页面地址

http://localhost:50030

2）HDFS的web页面

http://localhost:50070

如果成功的话，那么hadoop就表示安装成功了如下图：