Hadoop单机版安装步骤

1.创建组

groupadd -g 301 hadoop

2.添加hadoop用户

useradd –g hadoop -d /home/hadoop –m hadoop

passwd hadoop

3.修改hosts文件

su - root。在root用户下操作：

vi /etc/hosts

在127.0.0.1       localhost的上面一行添加：

 

10.16.11.253(该机器的ip地址)       hadoop(主机名)

 

4.修改机器名

su - root。在root用户下操作：

vi /etc/hostname:添加主机名

hadoop

 

以下步骤，全部使用hadoop用户操作：

5.配置SSH：

修改/etc/ssh/sshd_config找到以下内容并去掉“#”：

vi /etc/ssh/sshd_config

RSAAuthentication yes

PubkeyAuthentication yes

AuthorizedKeysFile .ssh/authorized_keys

添加允许帐户：

AllowUsers root hadoop

最后，重启SSH服务：

service sshd restart

 

6.下载JAVA和Hadoop

下载java1.7。放到/usr目录下。JAVA_HOME为：/usr/jdk1.7.0_10

下载hadoop，解压后，放到/home/software目录下。

 

7.修改profile文件

在hadoop的.profile文件中添加下列内容：

JAVA_HOME=/home/software/jdk1.7.0_45

CLASSPATH=$JAVA_HOME/lib:.$JAVA_HOME/jre/lib:.

PATH=$JAVA_HOME/bin:$PATH

export JAVA_HOME CLASSPATH PATH

 

HADOOP_HOME=/home/software/hadoop-1.2.1

PATH=$HADOOP_HOME/bin:$PATH

export HADOOP_HOME PATH

 

export HADOOP_CONF_DIR=$HADOOP_HOME/conf

 

8.修改hdfs-site.xml

cd $HADOOP_HOME/conf。使用vi命令修改。

<property>

         <name>dfs.name.dir</name>

         <value>/home/hadoop/hadoopNAME</value>

</property>

<property>

         <name>dfs.data.dir</name>

         <value>/home/hadoop/hadoopDATA</value>

</property>

<property>

         <name>dfs.replication</name>

         <value>1</value>

</property>

<property>

         <name>dfs.support.append</name>

         <value>true</value>

</property>

 

9.修改core-site.xml

<property>

         <name>hadoop.tmp.dir</name>

         <value>/home/hadoop/hadoopTMP</value>

</property>

<property>

         <name>fs.default.name</name>

         <value>hdfs://10.16.11.253:9000</value>

</property>

<property>

 <name>hadoop.native.lib</name>

 <value>false</value>

</property>

 

10.修改mapred-site.xml

<property>

         <name>mapred.job.tracker</name>

         <value>192.168.1.103:9001</value>

</property>

<property>

         <name>mapred.system.dir</name>

         <value>/home/hadoop/hadoopDATA/mapred.system.dir</value>

</property>

<property>

         <name>mapred.local.dir</name>

         <value>/home/hadoop/hadoopDATA/mapred.local.dir</value>

</property>

<property>

         <name>mapred.child.java.opts</name>

         <value>-d64-Xmx256m</value>

</property>

 

11.修改masters文件和slaves文件

cd $HADOOP_HOME/conf

vi slaves:写入主机名：

hadoop

 

vi masters:写入主机名：

hadoop

12.在.profile末尾中添加

export HADOOP_HOME_WARN_SUPPRESS=1

 

13.生成密钥，形成ssh互信机制

ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa

cd .ssh

cp id_rsa.pub authorized_keys

 

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

cd .ssh

cat id_dsa.pub >> authorized_keys

 

chmod 600 authorized_keys

 

 

 

14.conf/hadoop-env.sh末尾添加

export JAVA_HOME=/usr/jdk1.7.0_10

 

15.格式化namenode

hadoop namenode -format

 

16.启动hdfs

start-dfs.sh

 

17.启动mapreduce

start-mapred.sh

 

18.查看集群状态

hadoop dfsadmin -report

 

19.测试

echo "Hello world Bye world" >/home/hadoop/testhadoopbysunyt/f1

echo "Hello world Bye world" >/home/hadoop/testhadoopbysunyt/f2

hadoop fs -mkdir/home/hadoop/hadoopTMP/tmp/input

hadoop fs -put/home/hadoop/testhadoopbysunyt/* /home/hadoop/hadoopTMP/tmp/input/

hadoop fs -ls/home/hadoop/hadoopTMP/tmp/input/

 

cd $HADOOP_HOME

1.0.4的测试办法：

hadoop jar hadoop-examples-1.0.4.jarwordcount /home/hadoop/hadoopTMP/tmp/input/ /output

1.1.1的运行办法：

hadoop jar hadoop-examples-1.1.1.jarwordcount /home/hadoop/hadoopTMP/tmp/input/ /output

hadoop fs -ls /output/

hadoop fs -cat /output/part-r-00000

 

备注：如何使用ant重新编译native库

1.      下载ant;

2.      修改.profile

在.profile中添加如下内容：

exportANT_HOME=/home/hadoop/software/apache-ant-1.8.4

exportPATH=$ANT_HOME/bin:$PATH

3.      执行如下命令，让配置生效：

source .profile

4.      编译

在$HADOOP_HOME目录下，使用如下命令：

ant compile-native

5．移动编译好的文件：

把build/native/Linux-amd64-64/lib的所有文件，拷贝到HADOOP HOME的：

lib/native/Linux-amd64-64/下。

6. 将build目录移走或删除。否则有些意想不到的结果

7. start-all.sh后，查看日志是否报错。日志位置：$HADOOP_HOME/logs

8. 运行jps命令，查看是不是所有服务都已经启动。