1、下载Hadoop安装包
可通过winscp等工具将安装包传到Linux中
2、解压并且将解压后的文件移动到/usr/local/software路径下,并且改名为hadoop
tar -zxvf hadoop-3.1.3.tar.gz
mv hadoop-3.1.3 /usr/local/software/hadoop
3、下载jdk
4、解压并且将解压后的文件移动到/usr/local/software路径下
tar -zxvf jdk-8u201-linux-x64.tar.gz
mv jdk-8u201-linux-x64 /usr/local/software
此时/usr/local/software路径下有两个文件:hadoop和jdk1.8.0_201
5、编辑/etc/profile文件
vim /etc/profile
添加下图内容:
注意:这里的jdk版本和上面的要一致
执行下面命令让配置立刻生效
source /etc/profile
6、配置hadoop-evh.sh文件
vim $HADOOP_HOME/etc/hadoop/hadoop-evh.sh
在这个脚本中添加:export JAVA_HOME=/usr/local/software/jdk1.8.0_201
7、配置core-site.xml文件
vim $HADOOP_HOME/etc/hadoop/core-site.xml
添加如下内容:
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://lovalhost:9000</value>
</property>
</configuration>
8、配置hdfs.site.xml文件
vim $HADOOP_HOME/etc/hadoop/hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
9、配置mapred.site.xml文件
vim $HADOOP_HOME/etc/hadoop/mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
10、配置yarn.site.xml文件
vim $HADOOP_HOME/etc/hadoop/yarn-site.xml
<configuration>
<property>
<name>yarn.nodemanager.aux-sevices</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
11、初始化hadoop
hdfs namenode –format
12、启动
$HADOOP_HOME/sbin/start-all.sh
13、关闭
$HADOOP_HOME/sbin/stop-all.sh
可能遇到的问题:
1、permission denied
解决:
1.1输入如下命令
ssh localhost
这里需要设置免密登陆,如果你还要输入密码,说明ssh没有配置蛤好。
1.2分别输入如下命令
ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
1.3再输入如下命令
ssh localhost
如果不需要输入密码,说明ssh配置好了。