hadoop伪分布安装

安装ssh

apt-get install ssh

安装rsync

apt-get install rsync

配置ssh免密码登录

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

cat ~/.ssh/id_dsa.pub >>~/.ssh/authorized_keys

验证是否成功

ssh localhost

下载Hadoop1.0.0,JDK

新建 linux 终端，建立app目录，Java和Hadoop都将安装在此目录中。

mkdir /home/app

接下来，安装Java和Hadoop，Hadoop解压即可。

cd /home/app

chmod +x jdk-6u30-linux-i586.bin

./jdk-6u30-linux-i586.bin

 

tar zxf hadoop-1.0.0-bin.tar.gz

配置JDK环境变量

vi /etc/profile

增加下面语句到最后

export JAVA_HOME=/home/app/jdk1.6.0_30

export PATH=$JAVA_HOME/bin:$PATH

export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

接下来开始配置Hadoop

进入Hadoop目录

cd /home/app/hadoop-1.0.0

修改配置文件，指定JDk安装路径

vi conf/hadoop-env.sh

export JAVA_HOME=/home/app/jdk1.6.0_30

修改Hadoop核心配置文件core-site.xml，这里配置的是HDFS的地址和端口号

vi conf/core-site.xml

<configuration>

        <property>

               <name>fs.default.name</name>

               <value>hdfs://localhost:9000</value> 

        </property>

</configuration>

修改Hadoop中HDFS的配置，配置的备份方式默认为3，因为安装的是单机版，所以需要改为1

vi conf/hdfs-site.xml

<configuration>

        <property>

               <name>dfs.replication</name>

               <value>1</value>

        </property>

</configuration>

修改Hadoop中MapReduce的配置文件，配置的是JobTracker的地址和端口

vi conf/mapred-site.xml

<configuration>

        <property>

               <name>mapred.job.tracker</name>

               <value>localhost:9001</value>

        </property>

</configuration>

接下来，启动Hadoop，在启动之前，需要格式化Hadoop的文件系统HDFS，进入Hadoop文件夹，输入下面命令

bin/hadoop namenode -format

然后启动Hadoop，输入命令

bin/start-all.sh

这个命令为所有服务全部启动。

最后，验证Hadoop是否安装成功。打开浏览器，分别输入一下网址：

http://localhost:50030    (MapReduce的Web页面)

http://localhost:50070    (HDfS的web页面)

如果都能查看，说明安装成功。

 

 

1：按上述步骤安装完之后为了避免使用bin/hadoop,而能直接用hadoop和start-all.sh等命令，可以再/etc/profile中写入

JAVA_HOME=/usr/jdk1.6.0_25

JRE_HOME=/usr/jdk1/jre

ANT_HOME=/usr/apache-ant-1.8.4

CLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib:$ANT_HOME/lib:$HADOOP_HOME/lib:$CLASSPATH

PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$ANT_HOME/bin:$HADOOP_HOME/bin:$PATH

export JAVA_HOME JRE_HOME CLASSPATH PATH ANT_HOME HADOOP_HOME

2:还要注意写/etc/hosts

127.0.0.1               localhost.localdomain localhost