单机hadoop安装配置及测试通过,下面我把步骤一一写出来
一、实验环境
1.安装环境简介
物理笔记本:i5 2.27GHz (4 CPU) 4G内存 320GB硬盘 32位win7 操作系统
虚拟机: VMware Player
虚拟机安装配置URL: http://ideapad.it168.com/thread-2088751-1-1.html 不会配置的朋友请见
包括(vm tools linux与windows 共享文件 配置)
Linux ISO:SLES-11-SP2-DVD.iso 64位
Hadoop software version:hadoop-1.1.1.tar.gz
java jdk-7u9-linux-x64.rpm
root密码:rootroot
系统版本:
Suse Linux 11 SP2
二、JAVA环境安装
1.首先你需要从oracle官网下载到java的资源包
本例使用的是jdk-7u9-linux-x64.rpm
2.把资源包上传到虚拟机,进入相关目录
使用root用户执行安装命令进行安装
rpm -ivh jdk-7u9-linux-x64.rpm
cd命令进行/usr/java/ 执行 ln -s jdk1.7.0_09 java
cd命令进入/etc目录vim profile即执行编辑profile文件命令
在umask 022前添加如下内容: 环境变量
export JAVA_HOME=/usr/java/java
export JRE_HOME=$JAVA_HOME/jre
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=./:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
source profile 加载环境变量使之生效
三、hadoop的安装配置
1、首先你需要从阿帕奇官网给出的链接下载到资源包:
http://www.apache.org/dyn/closer.cgi/hadoop/common/
2、将下载的hadoop-1.1.1.tar.gz包上传到/home/Software
[linux-hd1:/home/Software]$ tar -zxvf hadoop-1.1.1.tar.gz
[linux-hd1:/home/Software]$ mv hadoop-1.1.1 /usr
[linux-hd1:/usr]$ln -s hadoop hadoop-1.1.1
3、修改/usr/hadoop/conf/hadoop-env.sh文件
添加export JAVA_HOME=/usr/java/java 环境变量
4、修改 /usr/hadoop/conf/目录下的配置文件
core-site.xml 、hdfs-site.xml和mapred-site.xml
1)编辑 core-site.xml 在之间增加
fs.default.name
hdfs://localhost:9000
hadoop.tmp.dir
/tmp/hadoop/hadoop-${user.name}
2)编辑hdfs-site.xml 在之间增加
dfs.replication
1
3)编辑mapred-site.xml 在之间增加
mapred.job.tracker
localhost:9001
5、免密码ssh设置 --不然每启动一次就需要输入一次密码
现在确认能否不输入口令就用ssh登录localhost:
# ssh localhost
如果不输入口令就无法用ssh登陆localhost,执行下面的命令:
# ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
# cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
一、实验环境
1.安装环境简介
物理笔记本:i5 2.27GHz (4 CPU) 4G内存 320GB硬盘 32位win7 操作系统
虚拟机: VMware Player
虚拟机安装配置URL: http://ideapad.it168.com/thread-2088751-1-1.html 不会配置的朋友请见
包括(vm tools linux与windows 共享文件 配置)
Linux ISO:SLES-11-SP2-DVD.iso 64位
Hadoop software version:hadoop-1.1.1.tar.gz
java jdk-7u9-linux-x64.rpm
root密码:rootroot
系统版本:
Suse Linux 11 SP2
二、JAVA环境安装
1.首先你需要从oracle官网下载到java的资源包
本例使用的是jdk-7u9-linux-x64.rpm
2.把资源包上传到虚拟机,进入相关目录
使用root用户执行安装命令进行安装
rpm -ivh jdk-7u9-linux-x64.rpm
cd命令进行/usr/java/ 执行 ln -s jdk1.7.0_09 java
cd命令进入/etc目录vim profile即执行编辑profile文件命令
在umask 022前添加如下内容: 环境变量
export JAVA_HOME=/usr/java/java
export JRE_HOME=$JAVA_HOME/jre
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=./:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
source profile 加载环境变量使之生效
三、hadoop的安装配置
1、首先你需要从阿帕奇官网给出的链接下载到资源包:
http://www.apache.org/dyn/closer.cgi/hadoop/common/
2、将下载的hadoop-1.1.1.tar.gz包上传到/home/Software
[linux-hd1:/home/Software]$ tar -zxvf hadoop-1.1.1.tar.gz
[linux-hd1:/home/Software]$ mv hadoop-1.1.1 /usr
[linux-hd1:/usr]$ln -s hadoop hadoop-1.1.1
3、修改/usr/hadoop/conf/hadoop-env.sh文件
添加export JAVA_HOME=/usr/java/java 环境变量
4、修改 /usr/hadoop/conf/目录下的配置文件
core-site.xml 、hdfs-site.xml和mapred-site.xml
1)编辑 core-site.xml 在之间增加
fs.default.name
hdfs://localhost:9000
hadoop.tmp.dir
/tmp/hadoop/hadoop-${user.name}
2)编辑hdfs-site.xml 在之间增加
dfs.replication
1
3)编辑mapred-site.xml 在之间增加
mapred.job.tracker
localhost:9001
5、免密码ssh设置 --不然每启动一次就需要输入一次密码
现在确认能否不输入口令就用ssh登录localhost:
# ssh localhost
如果不输入口令就无法用ssh登陆localhost,执行下面的命令:
# ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
# cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
6.格式化分布式文件系统
[linux-hd1:/home/hadoop/bin]$ ./hadoop namenode -format
格式化名称节点:建立一系列结构,存放HDFS元数据
7.启动Hadoop 【只在h1上操作就可以】
命令:bin/start-all.sh
[linux-hd1:/usr/hadoop/bin #] ./start-all.sh
starting namenode, logging to /usr/hadoop-1.1.1/libexec/../logs/hadoop-root-namenode-linux-hd1.out
localhost: starting datanode, logging to /usr/hadoop-1.1.1/libexec/../logs/hadoop-root-datanode-linux-hd1.out
localhost: starting secondarynamenode, logging to /usr/hadoop-1.1.1/libexec/../logs/hadoop-root-secondarynamenode-linux-hd1.out
starting jobtracker, logging to /usr/hadoop-1.1.1/libexec/../logs/hadoop-root-jobtracker-linux-hd1.out
localhost: starting tasktracker, logging to /usr/hadoop-1.1.1/libexec/../logs/hadoop-root-tasktracker-linux-hd1.out
8.检测守护进程启动情况
[linux-hd1:/usr/hadoop/bin #]jps 查看master后台java进程,统计和运行这个就可以查看了
[linux-hd1:/home/hadoop/bin]$ ./hadoop namenode -format
格式化名称节点:建立一系列结构,存放HDFS元数据
7.启动Hadoop 【只在h1上操作就可以】
命令:bin/start-all.sh
[linux-hd1:/usr/hadoop/bin #] ./start-all.sh
starting namenode, logging to /usr/hadoop-1.1.1/libexec/../logs/hadoop-root-namenode-linux-hd1.out
localhost: starting datanode, logging to /usr/hadoop-1.1.1/libexec/../logs/hadoop-root-datanode-linux-hd1.out
localhost: starting secondarynamenode, logging to /usr/hadoop-1.1.1/libexec/../logs/hadoop-root-secondarynamenode-linux-hd1.out
starting jobtracker, logging to /usr/hadoop-1.1.1/libexec/../logs/hadoop-root-jobtracker-linux-hd1.out
localhost: starting tasktracker, logging to /usr/hadoop-1.1.1/libexec/../logs/hadoop-root-tasktracker-linux-hd1.out
8.检测守护进程启动情况
[linux-hd1:/usr/hadoop/bin #]jps 查看master后台java进程,统计和运行这个就可以查看了
10865 JobTracker 作业跟踪器进程 10865是进程号
10648 DataNode 数据节点进程 10648是进程号
10517 NameNode 名称节点进程 10517是进程号
11131 Jps
10778 SecondaryNameNode 辅助名称节点进程 10778是进程号
10999 TaskTracker 任务跟踪器进程 10999是进程号
10648 DataNode 数据节点进程 10648是进程号
10517 NameNode 名称节点进程 10517是进程号
11131 Jps
10778 SecondaryNameNode 辅助名称节点进程 10778是进程号
10999 TaskTracker 任务跟踪器进程 10999是进程号
如果NameNode没有成功启动的话就要先执行"bin/stop-all.sh"停掉所有东西,然后重新格式化namenode
9.Hadoop测试
(1)创建一个文本1.txt
[linux-hd1:/usr/hadoop/bin #] vim 1.txt
(2)文本内容是I Love You Hadoop
[linux-hd1:/usr/hadoop/bin #] cat 1.txt
Hello Word
(3)在HDFS文件系统上创建一个目录leo
[linux-hd1:/usr/hadoop/bin #] ./hadoop fs -mkdir /test
(4)复制文件1.txt到leo目录
[linux-hd1:/usr/hadoop/bin #] ./hadoop fs -copyFromLocal 1.txt /test
(5)显示HDSF文件系统目录下的内容
[linux-hd1:/usr/hadoop/bin #] ./hadoop fs -ls /test
Found 1 items
-rw-r--r-- 2 grid supergroup 0 2012-09-02 21:08 /test/1.txt
(6)查看在HDFS文件系统上1.txt内容
[linux-hd1:/usr/hadoop/bin #] ./hadoop fs -cat /test/1.txt
Hello Word
(1)创建一个文本1.txt
[linux-hd1:/usr/hadoop/bin #] vim 1.txt
(2)文本内容是I Love You Hadoop
[linux-hd1:/usr/hadoop/bin #] cat 1.txt
Hello Word
(3)在HDFS文件系统上创建一个目录leo
[linux-hd1:/usr/hadoop/bin #] ./hadoop fs -mkdir /test
(4)复制文件1.txt到leo目录
[linux-hd1:/usr/hadoop/bin #] ./hadoop fs -copyFromLocal 1.txt /test
(5)显示HDSF文件系统目录下的内容
[linux-hd1:/usr/hadoop/bin #] ./hadoop fs -ls /test
Found 1 items
-rw-r--r-- 2 grid supergroup 0 2012-09-02 21:08 /test/1.txt
(6)查看在HDFS文件系统上1.txt内容
[linux-hd1:/usr/hadoop/bin #] ./hadoop fs -cat /test/1.txt
Hello Word
测试完成
来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/177006/viewspace-750793/,如需转载,请注明出处,否则将追究法律责任。
转载于:http://blog.itpub.net/177006/viewspace-750793/