Hadoop学习全程记录——ubuntu14.04下配置Hadoop(1)(修改)

ubuntu自带java环境，不需要安装。

1.SSH和无密码登录

安装SSH客户端

sudo apt-get install openssh-client

sudo apt-get install openssh-server

生成无密码的“公私钥”对：

su hadoop

ssh -keygen -t dsa -P '' -f ~/.ssh/id_dsa

cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized-keys

chmod 600 ~/.ssh/authorized_keys

确认是否成功：

ssh localhost

2.Hadoop的下载与解压

http://mirror.metrocast.net/apache/hadoop/common/hadoop-1.2.1/

到hadoop.apache.org 上下载Hadoop的安装文件，笔者使用的是“hadoop-1.2.1.tar”。

在发布式安装模式下，所有服务器Hadoop的安装目录需要一样。笔者安装的位置为/home/liujianfei/hadoop，使用解压命令如下：

tar -zxvf hadoop-1.2.1.tar.gz -C /home/liujianfei/hadoop

mv /home/liujianfei/hadoop/hadoop-1.2.1 /home/liujianfei/hadoop/hadoop-1.2.1

chown -R hadoop:hadoop /home/liujianfei/hadoop/hadoop

3、配置Hadoop

修改hadoop目录下conf/hadoop-env.sh的环境变量，在末尾添加：

export JAVA_HOME=/usr

export HADOOP_HEAPSIZE=256

export HADOOP_PID_DIR=/home/$USER/pids

修改hadoop目录下conf/core-site.xml的配配置在<configuration>标签中添加如下内容：

<property>

<name>fs.default.name</name>

<value>hdfs://localhost:9000</value>

</property>

修改hadoop目录下conf/hdfs-site.xml的配置文件，在<configuration>标签中添加如下内容：

<property>

  <name>dfs.replication</name>

  <value>1</value>

</property>

修改hadoop目录下conf/mapred-site.xml的配置文件，在<configuration>标签中添加如下内容：

<property>

  <name>mapred.job.tracker</name>

  <value>localhost:9001</value>

</property>

4、执行

在使用一个分布式文件系统前需要对其进行格式

./bin/hadoop namenode -format

启动Hadoop守护进程

./bin/start-all.sh

关闭Hadoop守护进程

./bin/stop-all.sh

Hadoop守护进程的日志写入到${HADOOP_LOG_DIR}目录（默认为logs下）。

浏览NameNode和JobTracker的网络借口，他们的地址默认为：

NameNode - http://localhost:50070/

JobTracker - http://localhost:50030/

成功安装后输入jps,可以看到六个线程

4647 JobTracker
4824 TaskTracker
4556 SecondaryNameNode
4356 DataNode
9007 Jps
4076 NameNode