Linux下配置hadoop步骤
1. 配置JDK
vim /etc/profile
export JAVA_HOME=/usr/java/jdk1.8.0_111
export CLASSPATH=$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH:$HOME/bin
2.下载hadoop
wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.7.3/hadoop-2.7.3.tar.gz
3. 开始配置 ( mapred-site.xml.template 、hadoop-env.sh 、core-site.xml 、 hdfs-site.xml )
1.vim hadoop-2.7.3/etc/hadoop/hadoop-env.sh
设置: export JAVA_HOME=/usr/java/jdk1.8.0_111
2. vim hadoop-2.7.3/etc/hadoop/core-site.xml
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>/hadoop</value>
</property>
<property>
<name>dfs.name.dir</name>
<value>/hadoop/name</value>
</property>
<property>
<name>fs.default.name</name>
<value>hdfs://MiWiFi-R1CM-srv:9001</value> //MiWiFi-R1CM-srv:主机名,可用hostnameming命令查看
</property>
</configuration>
3. vim hadoop-2.7.3/etc/hadoop/hdfs-site.xml
<configuration>
<property>
<name>dfs.data.dir</name>
<value>/hadoop/data</value>
</property>
</configuration>
4. vim hadoop-2.7.3/etc/hadoop/mapred-site.xml.template
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>MiWiFi-R1CM-srv:9001</value> //MiWiFi-R1CM-srv:主机名,可用hostnameming命令查看
</property>
</configuration>
4. 配置hadoop到 JAVA_HOME 中
1.vim /etc/profile
2.添加
export HADOOP_HOME=/usr/local/hadoop/hadoop-2.7.3
export PATH=$HADOOP_HOME/bin
5. 让配置文件立即生效 : source /etc/profile
6.格式化文件系统: hadoop namenode -format //在sbin目录下格式化
7. 启动:sh start-all.sh 查看启动的进程:jps
[root@lyons sbin]# jps
10064 Jps
9589 SecondaryNameNode
9290 NameNode
9418 DataNode
9738 ResourceManager
10028 NodeManager
注意:
一。JAVA_HOME 与后面的“=”不允许有空格。
二。格式化文件系统时抛错,很可能的原因:主机名字配置错误!
解决:
1. vim /etc/sysconfig/network
修改hostname
2. vim /etc/hosts
修改hostname
3.重启网络服务:
[root@localhost bin]# /etc/rc.d/init.d/network restart
现在再格式化文件系统就好了(参考:http://blog.csdn.net/shirdrn/article/details/6562292)
尾言:可以参考博客 https://www.cnblogs.com/xia520pi/archive/2012/04/08/2437875.html 这个博文有点老了