配置前的准备
1.下载JDK,戳这里
2.下载Hadoop,戳这里(Fedora下载rpm格式的,ubuntu下载tar格式的)
3.下载Eclipse,戳这里
cd Downloads/
tar -zxvf hadoop-1.2.1.tar.gz
参数配置
JDK的配置,首先声明,笔者的环境是Fedora,如果是ubuntu的小伙伴,安装东西的时用
sudo apt-get install
接下来就是配置环境变量
su (进入root)
vim /etc/profile
在文件的末尾加上这样几句命令
export JAVA_HOME=/usr/java/jdk1.8.0_65
export CLASSPATH=$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH:$PATH:$HOME/bin
保存,然后退出root
exit
如果不知道自己的JDK是什么版本,可以这样查看
java -version
然后在Hadoop里面配置JDK
cd hadoop/conf/
vim hadoop-env.sh
找到有JAVA_HOME的那一行参数,把这个参数改为上面的/usr/java/jdk1.8.0_65,然后去掉前面的#号(这个#号起注释作用)
Hadoop的启动
在启动Hadoop的时候会碰到很多问题,比如比如 22 connection refused
ssh localhost
如果是这个问题的话,一般分为两种。
第一种:没有下载openssh
sudo yum install openssh-client
sudo yum install openssh-server
第二种:openssh没有启动
ubuntu: service ssh start
Fedora: service sshd start
可以用这个命令查看有多少sshd,如果什么都没有就是未启动成功。
ps -e | grep ssh
解决完问题后再启动ssh
ssh localhost
如果出现Last login: Thu Oct 22 15:53:55 2015 from 127.0.0.1或者不出现这个但没有错误则成功。
cd hadoop/conf
vim core-site.xml
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/tmp/hadoop/hadoop-${user.name}</value>
</property>
</configuration>
vim hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
vim mapred-site.xml
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
</configuration>
cd hadoop/bin
./hadoop namenode -format
如果出现*******,那就差不多了
cd hadoop/bin
./start-all.sh
如果没有error的话就算成功
最后一步,打开浏览器,输入http://localhost:50030
看到如下界面就配置好了。