大数据——在Linux系统上安装和配置hadoop

最新推荐文章于 2024-10-07 16:43:40 发布
原创 最新推荐文章于 2024-10-07 16:43:40 发布 · 1.3k 阅读 · 9 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hadoop #大数据 #linux

本文详细介绍在虚拟机上安装和配置Hadoop集群的过程，包括安装JDK、MySQL，配置环境变量，设置Hadoop参数，以及启动和验证Hadoop服务。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

虚拟机上安装和配置hadoop

安装hadoop所需要9个安装包：hadoop安装包
提取码：ir3f

准备工做

配置一台虚拟机：
详情请见：使用VMware安装虚拟机
安装和配置好jdk：
详情请见：linux系统下jdk安装和环境配置
安装和配置好mysql：
详情请见：linux系统下mysql安装和配置

安装和配置hadoop

使用Moba连接到虚拟机。
把左下角的方框勾上。
首先更改主机名：

[root@hadoop02 hadoop]# hostnamectl set-hostname hadoop02
[root@hadoop02 hadoop]# vi /etc/hosts
#输入：
192.168.136.36 hadoop02

在这里插入图片描述
在根目录下先创建一个software目录，用来放置安装包：

[root@hadoop02 /]# mkdir software

把9个安装包拖进来：
在这里插入图片描述
把安装好的jdk移动到根目录下的opt目录下：

[root@hadoop02 opt]# mv jdk-8u221-linux-x64 -C /opt/

改名为java8：

[root@hadoop02 opt]# mv jdk-8u221-linux-x64 java8

解压hadoop-2.6.0-cdh5.14.2.tar.gz到opt目录下：

[root@hadoop02 software]# tar -zxvf hadoop-2.6.0-cdh5.14.2.tar.gz -C /opt/

把hadoop-2.6.0-cdh5.14.2名字更改为hadoop并查看一下目录：

[root@hadoop02 opt]# mv hadoop-2.6.0-cdh5.14.2/ hadoop
[root@hadoop02 opt]# ll

在这里插入图片描述
配置环境变量：

[root@hadoop02 opt]# vi /etc/profile

输入：

export JAVA_HOME=/opt/java8
export JRE_HOME=/opt/java8/jre
export CLASSPATH=.:$JAVA_HOME/lib/rt.jar:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar
export HADOOP_HOME=/opt/hadoop
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_INSTALL=$HADOOP_HOME
export PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/root/bin
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

在这里插入图片描述
保存退出，使环境变量生效：

[root@hadoop02 opt]# source /etc/profile

查看配置好的hadoop信息：

[root@hadoop02 opt]# hadoop version

在这里插入图片描述进入根目录下的opt目录下的hadoop下的目录下的hadoop：

[root@hadoop02 opt]# cd /opt/hadoop/etc/hadoop

查看hadoop下的文件：

[root@hadoop02 hadoop]# ll

在这里插入图片描述

配置core-site.xml：

[root@hadoop02 hadoop]# vi core-site.xml

在这里插入图片描述
在两个configuration之间输入：

<property>
    <name>fs.defaultFS</name>
    <value>hdfs://192.168.136.36:9000</value>
  </property>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/opt/hadoop/tmp</value>
  </property>

注意：hdfs后面输入的是你的主机ip，后面的9000是端口号
在这里插入图片描述
保存退出，配置hdfs-site.xml:

[root@hadoop02 hadoop]# vi hdfs-site.xml

在这里插入图片描述
在两个configuration之间输入：

  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>

在这里插入图片描述
保存退出，配置hadoop-env.sh：

[root@hadoop02 hadoop]# vi hadoop-env.sh

在这里插入图片描述
在export JAVA_HOME=${JAVA_HOME}下输入：

export JAVA_HOME=/opt/java8

注意：后面的是你java安装的目录
在这里插入图片描述
保存退出，更改mapred-site.xml.template的文件名：

[root@hadoop02 hadoop]# mv mapred-site.xml.template mapred-site.xml

在这里插入图片描述
配置mapred-site.xml：

[root@hadoop02 hadoop]# vi mapred-site.xml

在这里插入图片描述
在两个configuration中输入：

<property>
    <name>mapreduce.framework,name</name>
    <value>yarn</value>
  </property>

在这里插入图片描述
保存退出，配置yarn-site.xml：

[root@hadoop02 hadoop]# vi yarn-site.xml

在这里插入图片描述
在两个configuration中输入：

<property>
    <name>yarn.resourcemanager.hostname</name>
    <value>hadoop02</value>
  </property>
  <property>
    <name>yarn.nodemanager.aux-service</name>
    <value>mapreduce_shuffle</value>
  </property>

在这里插入图片描述
保存退出，到这一步基本的配置已配置完。
添加互信：

[root@hadoop02 hadoop]# ssh-keygen
[root@hadoop02 hadoop]# cat ~/.ssh/id_rsa.pub > ~/.ssh/authorized_keys
[root@hadoop02 hadoop]# ssh hadoop02
[root@hadoop02 hadoop]# exit

在这里插入图片描述
格式化hdfs：

[root@hadoop02 hadoop]# hdfs namenode -format

在这里插入图片描述
启动yarn：

[root@hadoop02 hadoop]# start-yarn.sh

在这里插入图片描述
启动dfs：

[root@hadoop02 hadoop]# start-dfs.sh

在这里插入图片描述
查询进程：

[root@hadoop02 hadoop]# jps

在这里插入图片描述
访问hadoop，在浏览器输入：

192.168.136.36:50070

在这里插入图片描述
点击Utilities下的Browse the file system：
在这里插入图片描述
查看一下有没有文件夹：

[root@hadoop02 hadoop]# hdfs dfs -ls

在这里插入图片描述
创建一个文件夹：

[root@hadoop02 hadoop]# hadoop fs -mkdir /test

在这里插入图片描述
在这里插入图片描述
上传一个文件：

[root@hadoop02 hadoop]# hadoop fs -put /opt/hadoop/README.txt /test

在这里插入图片描述
在这里插入图片描述

完善一下配置信息

关闭hadoop进程：

[root@hadoop02 hadoop]# stop-all.sh
[root@hadoop02 hadoop]# jps

在这里插入图片描述
配置yarn-site.xml：

[root@hadoop02 hadoop]# vi yarn-site.xml

在两个Configuration中添加：

  <property>
    <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
    <value>org.apache.hadoop.mapred.ShuffleHandler</value>
  </property>
  <property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
  </property>
  <property>
    <name>yarn.log-aggregation.retain-seconds</name>
    <value>604800</value>
  </property>

在这里插入图片描述
保存退出，配置core-site.xml：

[root@hadoop02 hadoop]# vi core-site.xml

在两个Configuration中添加：

 <property>
   <name>hadoop.proxyuser.root.hosts</name>
   <value>*</value>
 </property>
 <property>
   <name>hadoop.proxyuser.root.groups</name>
   <value>*</value>
 </property>
 <property>
    <name>hadoop.native.lib</name>
    <value>false</value>
    <description>Should native hadoop libraries, if present, be used.
    </description>
 </property>

在这里插入图片描述
保存退出，配置hdfs-site.xml：

[root@hadoop02 hadoop]# vi hdfs-site.xml

在两个Configuration中添加：

  <property>
    <name>dfs.namenode.secondary.http-address</name>
    <value>192.168.136.36:50090</value>
  </property>

在这里插入图片描述
保存退出，配置mapred-site.xml：

[root@hadoop02 hadoop]# vi mapred-site.xml

在两个Configuration中添加：

  <property>
    <name>mapreduce.jobhistory.address</name>
    <value>192.168.136.36:10020</value>
  </property>
  <property>
   <name>mapreduce.jobhistory.webapp.address</name>
    <value>192.168.136.36:19888</value>
  </property>

在这里插入图片描述
保存退出，配置slaves：

[root@hadoop02 hadoop]# vi slaves

输入：

hadoop02

注意：是你的主机名。
在这里插入图片描述
返回opt目录下删除tmp目录和logs目录：

[root@hadoop02 hadoop]# rm -rf tmp/
[root@hadoop02 hadoop]# rm -rf logs/

注意：这两个目录是在opt目录下的。
在这里插入图片描述
把hadoop-native-64-2.6.0.tar解压到opt目录下的hadoop目录下的lib目录下的native目录下：

[root@hadoop02 software]# tar -xvf hadoop-native-64-2.6.0.tar -C /opt/hadoop/lib/native/

移动到opt目录下的hadoop目录下的lib目录下的native目录下查看：

[root@hadoop02 /]# cd lib/native/
[root@hadoop02 native]# ll

在这里插入图片描述
复制所有文件到上一级目录：

[root@hadoop02 native]# cp * ../

返回上一级目录并查看：

[root@hadoop02 nativve]# cd ..
[root@hadoop02 lib]# ll

在这里插入图片描述
格式化hdfs：

[root@hadoop02 hadoop]# hadoop namenode -format

在这里插入图片描述
启动hadoop进程并查看：

[root@hadoop02 hadoop]# start-all.sh
[root@hadoop02 hadoop]# jps

在这里插入图片描述
启动历史服务：

[root@hadoop02 hadoop]# mr-jobhistory-daemon.sh start historyserver
[root@hadoop02 hadoop]# jps

在这里插入图片描述
访问hadoop,hdfs页面：

192.168.136.36:50070

在这里插入图片描述
登录YARN的管理界面：

192.168.136.36:8088

在这里插入图片描述
查看工作历史：

192.168.136.36:19888

在这里插入图片描述
到这一步，hadoop才算真正的安装配置成功。

Linux上安装Hadoop集群(CentOS7+hadoop-2.8.0)
pucao_cug的专栏
05-11 11万+
Linux上安装Hadoop集群(CentOS7+hadoop-2.8.0) 版本：CentOS7 Hadoop2.8.0 JDK1.8
摸鱼大数据——Linux搭建大数据环境(集群免密码登录和安装Hadoop)二
weixin_65694308的博客
05-14 964
的标签中添加以下内容: -->-- 在文件的
linux下的hadoop安装及配置详解
07-13
linux下的hadoop安装及配置详解
在 Linux 上配置 hadoop 环境
猎人在吃肉
01-14 1766
操作环境说明 在vmware workstation 12.0 上，使用的是centos6.4 网络的配置 1.0 vmnet配置 点击VMware快捷方式，右键打开文件所在位置 -> 双击vmnetcfg.exe -> VMnet1 host-only ->修改subnet ip 设置网段：192.168.1.0 子网掩码：255.255.255.0 -> apply -> ok
hadoop在linux下的安装
Simple的博客
09-29 821
学习学校教学课件、进行整理 一、安装准备 1、JDK （1）下载地址：www.oracle.com/technetwork/java/javase/downloads （2）解压 tar -zxvf 压缩包名称–C /usr/local(保存目录) cd jdk****（文件夹名称） （3）配置jdk环境变量 进入解压后的文件夹 •执行命令vim /etc/prof...
Hadoop的学习前奏(一)——在Linux上安装与配置Hadoop
weixin_30622107的博客
07-21 179
前言 笔者目前是在做Android开发，又是在一个信息安全的公司。公司的主要是做在虚拟机上运行的产品，又涉猎云计算，心想是要去搞一下云计算。自我感觉移动互联网 + 云计算 + 信息安全会是一个很好的方向，于是投身其中。因为是Java出身，所以自然而然选择了Hadoop。笔者系统环境Linux: CentOS release 6.5 (Final)JDK: java version "...
摸鱼大数据——Linux搭建大数据环境(Hadoop集群的web-ui和安装Hive)四
weixin_65694308的博客
05-15 951
上传mysql-connector-java-5.1.32.jar到 /export/software/mysql 5.7.29/ 下。使用CRT等客户端远程上传 apache-hive-3.1.2-bin.tar.gz 文件到/export/software目录下。-- 远程模式部署metastore metastore地址 --># 把如下内容复制到profile文件的最后,注意:记得保存并退出wq。# 把如下内容复制到profile文件的最后,注意:记得保存并退出wq。
摸鱼大数据——Linux搭建大数据环境(Hadoop集群的启动和Hadoop shell命令)三
weixin_65694308的博客
05-14 1023
如果配置了etc/hadoop/workers和ssh免密登录,则可使用脚本一键操作Hadoop两个集群的相关进程，在主节点所设定的机器上执行。: 本质是清理和准备工作,因为此时的HDFS在物理上还是不存在的。在主节点上使用以下命令启动YARN ResourceManager。在每个从节点上使用以下命令启动YARN nodemanager。在每个从节点上使用以下命令启动HDFS DataNode。在主节点上使用以下命令启动HDFS NameNode。如果想要停止某个节点上某个角色，只需要把命令中的。
拥抱大数据——初识Hadoop，轻松应对海量数据存储与分析所带来的挑战
01-20
在Linux环境下搭建Hadoop涉及到安装JDK、配置环境变量，然后下载并解压Hadoop安装包，进行Hadoop的配置，包括修改core-site.xml、hdfs-site.xml、mapred-site.xml和yarn-site.xml等配置文件，最后启动Hadoop服务，...
摸鱼大数据——Hadoop基础理论知识之分布式和集群、框架、HDFS
weixin_65694308的博客
05-22 1253
Hadoop简介:是Apache旗下的一个用Java语言实现开源软件框架，是一个存储和计算大规模数据的软件平台。Hadoop起源: Doug Cutting 创建的，最早起源一个Nutch项目。三驾马车: 谷歌的三遍论文加速了hadoop的研发Hadoop框架意义: 作为大数据解决方案，越来越多的企业将Hadoop 技术作为进入大数据领域的必备技术。​狭义上来说:Hadoop指Apache这款开源框架，它的核心组件有：HDFS,MR,YANR。
Linux下安装配置hadoop
鑫鑫23的博客
05-26 443
今天在这给大家分享一下单节点下hadoop的安装和配置 1，在Linux下解压hadoop安装包hadoop-2.6.0-cdh5.4.3.tar.gz 执行命令 tar -zxvf  hadoop-2.6.0-cdh5.4.3.tar.gz 2，解压之后进入hadoop解压目录下的/etc/hadoop下。配置hadoop的环境和内容 配置core-site.xml。那个node是你L
Linux下Hadoop配置与安装
~华仔的博客
07-27 634
1、下载Hadoop安装包 可通过winscp等工具将安装包传到Linux中 2、解压并且将解压后的文件移动到/usr/local/software路径下，并且改名为hadoop tar -zxvf hadoop-3.1.3.tar.gz mv hadoop-3.1.3 /usr/local/software/hadoop 3、下载jdk 4、解压并且将解压后的文件移动到/usr/local/software路径下 tar -zxvf jdk-8u201-linux-x64..
Linux下Hadoop集群安装配置
Conlin2019的博客
06-09 680
一、安装jdk (jdk1.8.0_144)  卸载现有jdk （1）查询是否安装java软件： rpm -qa|grep java （2）如果安装的版本低于1.7，卸载该jdk： rpm -e 软件包名字  在/opt目录下创建两个子文件 mkdir /opt/module /opt/software  解压jdk到/opt/module目录下 tar -zxvf jdk-8u144...
Hadoop集群部署（Linux）
fuluzi的博客
06-27 1509
安装hadoop前，必须有jdk，然后我们再克隆二台虚拟机，分别为一台主机两台从机，克隆完记得，修改mac地址，再修改主机名和网络192.168.8.49 //主192.168.8.48 //从192.168.8.47 //从。
大数据学习系列（一）Linux安装和配置
我是eleven，这是我的博客，希望通过我输出的内容能够帮助到大家。
03-31 338
一、安装VMware 我用的版本为:VMware-workstation-full-12.0.0 二、新建虚拟机 然后运行此虚拟机进行安装配置。。。。。。。。。。。。。。。。。。 语言选中English 键盘选择US.English ......默认。。默认。。。。默认 设置root密码： ...
Linux下的Hadoop分布式安装详解
weixin_43322583的博客
08-15 2334
Linux下分布式部署hadoop全流程详细记录附带图文。
在Linux上安装hadoop教程
lxover3的博客
11-30 7728
本篇文章是在Linux上装HDFS最全的教程,适合众多新手和老手学习
linux下主机的一系列配置（hadoop安装的主机配置）
小枫的博客
12-01 246
hadoop的安装的主机配置，可按以下配置进行操作 修改主机的ip地址 vim /etc/sysconfig/network-scripts/ifcfg-eth0 #修改ip地址 centos6 DEVICE=eth0 TYPE=Ethernet ONBOOT=yes NM_CONTROLLED=yes BOOTPROTO=static IPADDR=192.168.139.12 NE...
Linux搭建Hadoop集群（详细步骤）
最新发布
沃和莱特的博客
10-07 3223
Hadoop集群搭建
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值