Hadoop 安装共有三步:
1.linux环境
2.jdk
3.配置Hadoop
一.linux环境
可以安装虚拟机,也可以装双系统,最方便的是租用云服务器,阿里云,腾讯云均可,选择linux系统就行。
window系统远程连接linux的方法,腾迅云的帮助文档写的很详细
点击打开链接
二 .jdk
ubuntu 下安装jdk 可以使用命令
sudo apt-get updatesudo apt-get install open
jdk
-7-
jdk
或者
配置环境变量:
设置java环境变量
切到系统用户 #sudo su
#vim /etc/profile 修改 /etc/profile 文件 添加如下4条 1.export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64 2.export JRE_HOME=$JAVA_HOME/jre 3.export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH 4.export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH 注解: 1.Linux下用冒号 : 分割路径 2.$PATH / $JAVA_HOME / $JRE_HOME 是用来引用原来环境变量的值,在设置环境变量时不能把原来的值给覆盖掉 3.$CLASSPATH 中 当前目录 “.”不能丢 4.export 是把这4个变量导出为全局变量
#source /etc/profile变量立即生效
在任意目录命令javac均有显示,说明jdk配置好了
三.配置Hadoop
先下载 hadoop 命令 #wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-1.2.1/hadoop-1.2.1.tar.gz
解压$ tar -zxvf hadoop-1.2.1.tar.gz
cd命令,进入解压文件的conf目录下。
需要修改4个配置文件
hadoop-env.sh ,hdfs-site.xml,core-site.xml,mapred-site.xml
根据自己的请款对应修改
hadoop-env.sh:配置jdk路径export JAVA_HOME=/usr/lib/jvm/java-1.6.0-openjdk-amd64/
编辑conf/hdfs-site.xml,添加内容:
<configuration> <property> <name>dfs.name.dir</name> <value>/home/hadoop/name</value> </property> <property> <name>dfs.data.dir</name> <value>/home/hadoop/data</value> </property> <property> <name>dfs.replication</name> <value>2</value> </property> </configuration>
编辑conf/core-site.xml,添加内容:
<configuration> <property> <name>fs.default.name</name> <value>hdfs://master.Hadoop:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/home/hadoop/hadoop-1.0.4/tmp</value> </property> </configuration>
可以选择把hadoop的路径也配置成环境变量
进入bin目录
hadoop-1.0.4/bin/hadoop namenode -format启动hadoop-1.0.4/bin/start-all.sh执行jps命令
1974 JobTracker 2101 Jps 1602 NameNode 1893 SecondaryNameNode说明已经配置好hadoop
启动过程中要输入本机密码;可能报permission denied的错误需要配置ssh ,先下载ssh.配置SSH 首先查看SSH是否安装,可以直接输入SSH命令查看。 去除SSH登录密码,密码设置为空: #ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa Generating public/private rsa key pair. Created directory '/root/.ssh'. Your identification has been saved in /root/.ssh/id_rsa. Your public key has been saved in /root/.ssh/id_rsa.pub. The key fingerprint is: 1f:3a:89:b4:6f:2f:e1:1e:3e:80:9c:53:7b:5f:ae:93 root@DW key转存: #cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys即可解决!