Hadoop单机伪分布式配置

配置前的准备

1.下载JDK，戳这里
2.下载Hadoop，戳这里(Fedora下载rpm格式的，ubuntu下载tar格式的)
3.下载Eclipse，戳这里

cd Downloads/
tar -zxvf hadoop-1.2.1.tar.gz

参数配置

JDK的配置，首先声明，笔者的环境是Fedora，如果是ubuntu的小伙伴，安装东西的时用

sudo apt-get install 

接下来就是配置环境变量

su (进入root)
vim /etc/profile

在文件的末尾加上这样几句命令

export JAVA_HOME=/usr/java/jdk1.8.0_65
export CLASSPATH=$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH:$PATH:$HOME/bin

保存，然后退出root

exit

如果不知道自己的JDK是什么版本，可以这样查看

java -version

然后在Hadoop里面配置JDK

cd hadoop/conf/
vim hadoop-env.sh

找到有JAVA_HOME的那一行参数，把这个参数改为上面的/usr/java/jdk1.8.0_65，然后去掉前面的#号（这个#号起注释作用）

Hadoop的启动

在启动Hadoop的时候会碰到很多问题，比如比如 22 connection refused

ssh localhost

如果是这个问题的话，一般分为两种。
第一种：没有下载openssh

sudo yum install openssh-client
sudo yum install openssh-server

第二种：openssh没有启动

ubuntu: service ssh start
Fedora: service sshd start

可以用这个命令查看有多少sshd，如果什么都没有就是未启动成功。

ps -e | grep ssh

解决完问题后再启动ssh

ssh localhost

如果出现Last login: Thu Oct 22 15:53:55 2015 from 127.0.0.1或者不出现这个但没有错误则成功。

cd hadoop/conf
vim core-site.xml

<configuration>
  <property>
    <name>fs.default.name</name>
    <value>hdfs://localhost:9000</value>
  </property>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/tmp/hadoop/hadoop-${user.name}</value>
  </property>
</configuration>

vim hdfs-site.xml

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
</configuration>

vim mapred-site.xml

<configuration>
  <property>
    <name>mapred.job.tracker</name>
    <value>localhost:9001</value>
  </property>
</configuration>

cd hadoop/bin
./hadoop namenode -format
如果出现*******，那就差不多了

cd hadoop/bin
./start-all.sh
如果没有error的话就算成功

最后一步，打开浏览器，输入http://localhost:50030
看到如下界面就配置好了。