Linux下Hadoop配置与安装

1、下载Hadoop安装包

可通过winscp等工具将安装包传到Linux中

2、解压并且将解压后的文件移动到/usr/local/software路径下，并且改名为hadoop

tar -zxvf hadoop-3.1.3.tar.gz
mv hadoop-3.1.3 /usr/local/software/hadoop

3、下载jdk

4、解压并且将解压后的文件移动到/usr/local/software路径下

tar -zxvf jdk-8u201-linux-x64.tar.gz
mv jdk-8u201-linux-x64 /usr/local/software

此时/usr/local/software路径下有两个文件：hadoop和jdk1.8.0_201

5、编辑/etc/profile文件

vim /etc/profile

添加下图内容：

注意：这里的jdk版本和上面的要一致

执行下面命令让配置立刻生效

source   /etc/profile

6、配置hadoop-evh.sh文件

 vim $HADOOP_HOME/etc/hadoop/hadoop-evh.sh

在这个脚本中添加：export JAVA_HOME=/usr/local/software/jdk1.8.0_201

7、配置core-site.xml文件

vim $HADOOP_HOME/etc/hadoop/core-site.xml

添加如下内容：

<configuration>
	<property>
		<name>fs.default.name</name>
		<value>hdfs://lovalhost:9000</value>
	</property>
</configuration>

8、配置hdfs.site.xml文件

vim  $HADOOP_HOME/etc/hadoop/hdfs-site.xml

<configuration>
	<property>
		<name>dfs.replication</name>
		<value>1</value>
	</property>
</configuration>

9、配置mapred.site.xml文件

vim $HADOOP_HOME/etc/hadoop/mapred-site.xml

<configuration>
	<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
	</property>
</configuration>

10、配置yarn.site.xml文件

vim  $HADOOP_HOME/etc/hadoop/yarn-site.xml

<configuration>
	<property>
		<name>yarn.nodemanager.aux-sevices</name>
		<value>mapreduce_shuffle</value>
	</property>
</configuration>

11、初始化hadoop

hdfs namenode –format

12、启动

$HADOOP_HOME/sbin/start-all.sh

13、关闭

$HADOOP_HOME/sbin/stop-all.sh

可能遇到的问题：

1、permission denied

解决：

1.1输入如下命令

ssh localhost

这里需要设置免密登陆，如果你还要输入密码，说明ssh没有配置蛤好。

1.2分别输入如下命令

ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

1.3再输入如下命令

ssh localhost

如果不需要输入密码，说明ssh配置好了。