hadoop单节点安装(伪分布式)

原创 2013年12月05日 11:43:07

一、环境准备

1、操作系统:redhat linux

2、jdk:1.6.0

3、hadoop:1.2.1

二、安装

    1、在linux上创建针对hadoop的用户和组。

// 添加组
groupadd hadoop

//添加用户
useradd -g hadoop hduser
    2、配置SSH

    以hduser用户进行操作。

ssh-keygen -t rsa -P ""

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

    3、将hadoop的tar包解压到/usr/local/

tar -zxvf /opt/hadoop/hadoop-1.2.1.tar.gz -C /usr/local/

mv hadoop-1.2.1 hadoop
    在执行以上操作时,要注意使用root用户,因为hduser无法操作/usr/local目录。

    4、将解压的目录/usr/local/hadoop更改所有者属性

chown -R hduser:hadoop hadoop
    5、配置hduser用户的~/.bash_profile或者~/.bashrc文件

export JAVA_HOME=/usr/java/jdk1.6.0_41
PATH=$JAVA_HOME/bin:$PATH
export PATH

    另外,配置hadoop目录下的配置文件$HADOOP_HOME/conf/hadoop-env.sh,将下面的“#”去掉。

# export JAVA_HOME=/usr/lib/j2sdk1.5-sun

    6、修改hadoop的配置文件

conf/core-site.xml:

<configuration>
<property>
  <name>hadoop.tmp.dir</name>
  <value>/opt/hadoop/tmp</value>
  <description>A base for other temporary directories.</description>
</property>

<property>
  <name>fs.default.name</name>
  <value>hdfs://localhost:54310</value>
  <description>The name of the default file system.  A URI whose
  scheme and authority determine the FileSystem implementation.  The
  uri's scheme determines the config property (fs.SCHEME.impl) naming
  the FileSystem implementation class.  The uri's authority is used to
  determine the host, port, etc. for a filesystem.</description>
</property>
</configuration>
  注意:/opt/hadoop/tmp目录需手工创建。

conf/hdfs-site.xml:

<configuration>
<property>
  <name>dfs.replication</name>
  <value>1</value>
  <description>Default block replication.
  The actual number of replications can be specified when the file is created.
  The default is used if replication is not specified in create time.
  </description>
</property>
<property>
    <name>dfs.permissions</name>
    <value>false</value>
</property>
</configuration>

conf/mapred-site.xml:

<configuration>
<property>
  <name>mapred.job.tracker</name>
  <value>localhost:54311</value>
  <description>The host and port that the MapReduce job tracker runs
  at.  If "local", then jobs are run in-process as a single map
  and reduce task.
  </description>
</property>
</configuration>

    7、格式化文件系统

    配置完成后,需要格式化HDFS文件系统。进入hadoop主目录下的bin目录:

./hadoop namenode -format

    8、格式完后,启动hadoop

./start-all.sh

    9、启动完毕后,可通过jps命令判断服务是否启动

[hduser@localhost bin]$ jps
1442 TaskTracker
1304 JobTracker
2146 Jps
1216 SecondaryNameNode
933 NameNode
1063 DataNode
    如果看到这六个,说明启动成功了。

    10、进行测试,先将本地文件拷贝到hdfs上。

./hadoop fs -put /opt/hadoop/sampledata /opt/hadoop/input
    其中,sampledata目录是本地的目录,里面有测试数据文件。 input目录是hdfs上的目录,暂时没有创建,导入文件时会自动创建。

[hduser@localhost bin]$ ./hadoop dfs -ls /opt/hadoop/input
Warning: $HADOOP_HOME is deprecated.


Found 3 items
-rw-r--r--   1 hduser supergroup     674570 2013-12-05 10:29 /opt/hadoop/input/pg20417.txt
-rw-r--r--   1 hduser supergroup    1573150 2013-12-05 10:29 /opt/hadoop/input/pg4300.txt
-rw-r--r--   1 hduser supergroup    1423803 2013-12-05 10:29 /opt/hadoop/input/pg5000.txt
    如果看到三个文件,说明上传成功。此三个文件是我的测试文件。

    11、最后,运行测试程序

./hadoop jar /usr/local/hadoop/hadoop-examples-1.2.1.jar wordcount /opt/hadoop/input /opt/hadoop/output
   
    如果这步顺利的话,说明环境搭成功了。

备注:

如果在安装linux系统时,更改过主机名,有可能出现如下异常:

Error getting localhost name
java.net.UnknownHostException: ubuntu: ubuntu: Name or service not known

其中,ubuntu:ubuntu为对应的主机名。

这是因为配置文件中使用的是localhost,无法解析。

将/etc/hosts中,127.0.0.1对应的别名增加本机对应的主机名即可。

相关文章推荐

hadoop 2.6.0单节点-伪分布式模式安装

http://www.aboutyun.com/thread-10554-1-1.html   1、系统信息 [root@lsn-linux ~]# cat /etc/issue CentOS...

centos7下安装编译并搭建hadoop2.6.0单节点伪分布式集群

centos7下安装编译并搭建hadoop2.6.0单节点伪分布式集群

Linux下单节点Hadoop伪分布式安装

....明天再搞
  • nju2012
  • nju2012
  • 2013年07月17日 00:12
  • 749

单节点伪分布式Hadoop安装

问题导读 从本文部署实际部署,总结本地模式、伪分布、分布式的区别是什么? 单机是否是伪分布? 本地模式是否可以运行mapreduce? 由于hadoop安装方式有三种,并且三种安装方式都可以在前面的基...

Hadoop单节点集群安装(伪分布式安装)

本文来自Hadoop 2.7.1 官网http://hadoop.apache.org/docs/r2.7.1/hadoop-project-dist/hadoop-common/SingleClus...
  • ZhaoJa
  • ZhaoJa
  • 2015年12月24日 12:53
  • 117

Ubuntu下配置单节点伪分布式hadoop

单节点伪分布式Hadoop配置 首先申明,这里的配置方法也是我在网上找来的,并不完全时我个人经验的总结,这也是我看到的最简单和直接的配置方式,我虽然按照上面的配置闭关没有得到我想要的结果...

单节点伪分布式Hadoop配置

单节点伪分布式Hadoop配置   (声明:文档里面需要用户输入的均已斜体表示)   第一步:安装JDK            因为Hadoop运行必须安装JDK环境,因...

hadoop2.2.0伪分布式单节点搭建(mac os)

从网上搜索配置教程,以下博文的作者写的非常好,完全可以实施,便将内容拷贝至此,加上适当的注解,以作备用。 http://www.micmiu.com/bigdata/hadoop/hadoop2x-s...
  • kity114
  • kity114
  • 2014年05月07日 11:41
  • 595

Hadoop集群安装部署---从单节点的伪分布式扩展为多节点分布式

Hadoop集群安装部署---单节点伪分布式 一:slave环境配置 1、设置静态ip(manual) master: IP地址:192.168.77.70 子网掩码:255.255.255....
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:hadoop单节点安装(伪分布式)
举报原因:
原因补充:

(最多只允许输入30个字)