注:由于第一次自己手动安装hadoop,遇到了很多问题,大家遇到问题要耐心搜索,我在这上面也耗费了很多的时间,但功夫不负有心人,如果你完全按照我的流程来,也有可能遇到一些问题,因为每个人的电脑都不一样,下载的包也不一样,但只要最后的结果是好的,过程都是我们的经历罢了。
1.下载hadoop安装包
Index of /apache/hadoop/common/hadoop-3.3.1
2. 安装JDK
hadoop中jps的运行需要java环境。
输入java -version说明有jre
输入javac -version说明有jdk
vi ~/.bash_profile
插入下列代码:
export JAVA_HOME=/training/jdk
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
注:JAVA_HOME需要是你jdk的包的位置
source ~/.bash_profile
JDK安装完毕!!!!
3.安装Hadoop
新建一个文件夹
修改hosts
移动hadoop-3.3.1
配置环境变量
hadoop-env.sh
bash_profile
vi ~/.bash_profile
在文件中加入:
export HADOOP_HOME=/home/joe/Downloads/training/hadoop-3.3.1
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
生效:
source ~/.bash_profile
core-site.xml
加入下列代码:
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/niit/hadoop-3.3.1/tmp</value>
</property>
</configuration>
hdfs-site.xml
加入下列代码:
<configuration>
<property>
<name>dfs.name.dir</name>
<value>/opt/niit/hadoop-3.3.1/dfs/name</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>/opt/niit/hadoop-3.3.1/dfs/data</value>
</property>
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
</configuration>
mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
yarn-site.xml
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
执行下列命令:
ssh-keygen -t rsa
ssh-copy-id 用户名称hdfs namenode -format
启动hadoop start-all.sh
打开网页版
firewall-cmd --state 查看防火墙状态
systemctl stop firewalld.service 关闭防火墙
至此,hadoop的安装结束。