文章目录
1. 安装
最新版安装网站:https://hadoop.apache.org/releases.html
历史版本:http://archive.apache.org/dist/hadoop/core/
清华源:https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/
比如我要安装2.10.1版本,那么运行命令:
wget https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-2.10.1/hadoop-2.10.1.tar.gz
tar -zxf hadoop-2.10.1.tar.gz
cd hadoop-2.10.1/
2. 配置
步骤一:配置JAVA_HOME
首先hadoop是需要先配置java的,可以通过java -version
来看是否配置成功,请参考:https://blog.csdn.net/weixin_35757704/article/details/118930409
cd etc/hadoop/
echo $JAVA_HOME
输出的内容请复制下来,比如:/home/xq/apps/jdk1.8.0_291
,然后修改文件:
vim hadoop-env.sh
把export JAVA_HOME=${JAVA_HOME}
改为export JAVA_HOME=/home/xq/apps/jdk1.8.0_291
步骤二:配置端口与文件格式
然后修改:
vim core-site.xml
添加相关配置:
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://ubuntu:8020</value>
</property>
</configuration>
注意<value>hdfs://ubuntu:8020</value>
里面的ubuntu
是机器的名称,可以通过下面的命令来确认:
hostname
步骤三:配置HDFS文件目录
vi hdfs-site.xml
<configuration>
<property>
<name>dfs.namenode.name.dir</name>
<value>/home/xq/tmp/dfs/name</value>
</property>
<property>
<name>dfs.namenode.data.dir</name>
<value>/home/xq/tmp/dfs/data</value>
</property>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
</configuration>
步骤四:配置mapred
cp mapred-site.xml.template mapred-site.xml
vim mapred-site.xml
配置如下:
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
步骤五:配置yarn
然后配置yarn
:
vim yarn-site.xml
修改配置为:
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
步骤六:格式化
第一次使用hadoop的时候需要格式化!!,格式化的方法如下,如果不是第一次启动,请确保删除了上面配置的步骤三:配置HDFS文件目录
中的dfs
目录不存在,即/home/xq/tmp/
目录下没有东西啦
cd ../..
ls
定位目录,此时显示的内容应该是:
LICENSE.txt NOTICE.txt README.txt bin etc include lib libexec sbin share
然后格式化:
cd bin
./hadoop namenode -format
步骤七:启动hadoop
cd ../sbin/
./start-dfs.sh
没有配置无密码登录的话,会接收四次ssh,每次都选择yes,然后输入当前用户的密码就行,比如:
ECDSA key fingerprint is SHA256:kKJf9atHjxjE/PY12nOoVE7dIHzH3+0eO1RO2RnB8kI.
Are you sure you want to continue connecting (yes/no)? yes
等运行完成后,使用:
jps
可以看到启动了三个进程即可:
42947 Jps
31524 SecondaryNameNode
30197 DataNode
28631 NameNode
步骤八:打开hadoop测试页面
浏览器输入:http://ip地址:50070
,这个ip是hadoop机器的ip地址,比如http://127.0.0.1:50070
,看到有如下页面即证明hadoop配置成功:
3. 其他配置
把hadoop的命令添加进环境变量
首先找到hadoop的bin
目录,比如:/home/xq/apps/hadoop-2.10.1/bin
如此使用:
vim ~/.profile
然后在最后面添加
export HADOOP_HOME=/home/xq/apps/hadoop-2.10.1
export PATH=$HADOOP_HOME/bin:$PATH
source ~/.profile
echo $HADOOP_HOME