centos下安装hadoop

最新推荐文章于 2024-09-14 22:42:29 发布

老头儿给钱

最新推荐文章于 2024-09-14 22:42:29 发布

阅读量372

点赞数 1

分类专栏： Linux 文章标签： hadoop

本文链接：https://blog.csdn.net/Z_97_97/article/details/109362149

版权

Linux 专栏收录该内容

2 篇文章 0 订阅

订阅专栏

一.环境准备
1.centos7
2. jdk: 1.8.0_241
3.Hadoop: 1.8.0_241
二.Hadoop安装
2.1.jdk下载及配置
下载链接：https://download.oracle.com/otn/java/jdk/8u241-b07/1f5b5a70bf22433b84d0e960903adac8/jdk-8u241-linux-x64.tar.gz
下载完成后在下载目录执行命令：

tar -zxf jdk-8u241-linux-x64.tar.gz 
mv jdk1.8.0_241  /usr/local/java

2.2hadoop安装
下载链接：http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.10.0/hadoop-2.10.0.tar.gz
创建hadoop账号
创建hadoop用户: useradd -m hadoop -s /bin/bash
设置hadoop密码 : echo ‘QWEASD123’–stdin Hadoop(桌面交互设置)
使用visudo 添加hadoop的sudo权限
切换用户: su - hadoop

tar -zxf hadoop-2.10.0.tar.gz -C /home/hadoop/

2.3配置环境变量

Cat <<EOF>> /etc/profile
 export JAVA_HOME=/usr/local/java
 export CLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
 export JRE_HOME=$JAVA_HOME/jre
 export PATH=$JAVA_HOME/bin:$PATH
 export HADOOP_HOME=/home/hadoop/hadoop-2.10.0/
 export PATH=$PATH:$HADOOP_HOME/bin
 EOF

三.hadoop配置与启动
3.1hadoop配置
注：本例中Hadoop解压位置为/home/hadoop/hadoop-2.10.0/
修改/home/hadoop/hadoop-2.10.0/etc/hadoop/core-site.xml
在下一行新加内容：

<property>
 <name>fs.defaultFS</name>
 <value>hdfs://192.168.1.129:9000</value>
 </property>
 <property>
  <name>hadoop.tmp.dir</name>
  <value>/home/hadoop/hadoop-2.10.0/tmp</value>
  </property>
 <property>
 <name>hadoop.native.lib</name>
 <value>false</value>
 <description>Should native hadoop libraries, if present, be used. 
 </description>
 </property>

手动创建tmp目录mkdir /home/hadoop/hadoop-2.10.0/tmp
注：配置文件中出现的IP地址均为自己主机的ip地址
修改/home/hadoop/hadoop-2.10.0/etc/hadoop/hadoop-env.sh
在25行修改JAVA_HOME为/usr/local/java

在这里插入图片描述
修改/home/hadoop/hadoop-2.10.0/etc/hadoop/hdfs-site.xml
在下一行添加内容：

<configuration>
  <property>
 <name>dfs.replication</name>
  <value>1</value>
    </property>
  <property>
    <name>dfs.secondary.http.address</name>
  <value>192.168.110.129:50090</value>
 </property>
  </configuration>

修改/home/hadoop/hadoop-2.10.0/etc/hadoop/mapred-site.xml
在下一行添加内容：

<configuration>
 <property>
   <name>mapreduce.framework.name</name>
  <value>yarn</value>
  </property>

修改/home/hadoop/hadoop-2.10.0/etc/hadoop/yarn-site.xml
在下一行添加内容：

 <property>
   <name>yarn.resourcemanager.hostname</name>
  <value>192.168.110.129</value>
  </property>
   <property>
  <name>yarn.nodemanager.aux-services</name>
  <value>mapreduce_shuffle</value>
 </property>

配置修改完成，进行初始化，执行命令：

./hadoop namenode -format

3.2hadoop启动
执行命令：/home/hadoop/hadoop-2.10.0/sbin/start-all.sh
四.运行测试
执行命令

yarn jar /home/hadoop/hadoop-2.10.0/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient- 
 2.10.0.jar mrbench  -numRuns 50

运行结果可以使用浏览器浏览 http://ip:8088/cluster