centos7hadoop安装配置

最新推荐文章于 2024-07-03 10:14:40 发布
最新推荐文章于 2024-07-03 10:14:40 发布
阅读量438 收藏 7
点赞数
文章标签： hadoop linux vim
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xwt1130_/article/details/128832955
版权

centos7 Hadoop安装配置

一、前置

1.新建虚拟机,先关闭防火墙

systemctl stop firewalld
systemctl disable firewalld

2.配置虚拟机网络

cd到该目录

cd /etc/sysconfig/network-scripts

vi编辑配置文件(可以在vm中的编辑中的虚拟网络编辑器查看DHCP和NAT设置)

vi ifcfg-ens33

在这里插入图片描述
修改完后重启网络,ping百度,能ping通就行

systemctl restart network
ping www.baidu.com

在这里插入图片描述

3.安装vim工具

yum -y install vim

4.设置免密登陆

生成秘钥(注意是大写的P),运行后再次回车,生成秘钥

cd
ssh-keygen -t rsa -P ""

在这里插入图片描述

ll -a查看

ll-a

在这里插入图片描述

查看秘钥

cd .ssh/
ls

cat ./id_rsa.pub >> authorized_keys

开启远程免密登录配置

ssh-copy-id -i ./id_rsa.pub -p22 root@192.168.153.148

ssh -p22 root@192.168.153.148

免密登陆成功

5.安装同步时间工具

yum -y install ntpdate

同步时间

ntpdate time.windows.com

定时更新时间(定时任务)

crontab -e
* */5 * * *  usr/sbin/ntpdate -u time.windows.com

定时任务 启动/停止/重启/状态
service crond start/stop/restart/status

6.修改本计算机名字

vim /etc/hostname
或者
hostnamectl set-name xwt148

通过vim /etc/hosts配置其他计算机的ip以及主机名的映射,可以直接ping设置好的主机名

二、安装配置JDK和Hadoop

1.通过xftp或者类似软件在opt目录新建soft和install目录,将准备好的hadoop压缩包和jdk传到install目录

解压缩,将hadoop和jdk解压到soft目录,如果觉得解压完的文件名太长可以用mv修改

tar -zxvf ./jdk-8u321-linux-x64.tar.gz -C ../soft/
tar -zxvf ./hadoop-3.1.3.tar.gz -C ../soft/

2.配置JDK环境变量

vim /etc/profile

在74行加入

# JAVA_HOME
export JAVA_HOME=/opt/soft/jdk180
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAV_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin

检测是否配置成功

java -version

能出来就说明成功
在这里插入图片描述

3.修改解压郭的hadoop文件目录以及子目录文件的所有者为root

chown -R root:root /opt/soft/hadoop313/

4.修改Hadoop配置文件

在该目录下进行

cd /opt/soft/hadoop313/etc/hadoop

在这里插入图片描述

配置core-site.xml

vim ./core-site.xml

<configuration>
<property>
    <name>fs.defaultFS</name>
    <value>hdfs://gree143:9000</value>
  </property>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/opt/soft/hadoop313/data</value>
    <description>namenode上本地的hadoop临时文件夹</description>
  </property>
  <property>
    <name>hadoop.http.staticuser.user</name>
    <value>root</value>
  </property>
  <property>
    <name>io.file.buffer.size</name>
    <value>131072</value>
    <description>读写队列缓存：128K</description>
  </property>
  <property>
    <name>hadoop.proxyuser.root.hosts</name>
    <value>*</value>
  </property>
  <property>
    <name>hadoop.proxyuser.root.groups</name>
    <value>*</value>
  </property>
  </configuration>

配置hadoop-env.sh

vim ./hadoop-env.sh

将54行修改为,其中jdk180是你解压出来的目录,上面我将其修改为了jdk180

export JAVA_HOME=/opt/soft/jdk180

配置hdfs-site.xml

vim ./hdfs-site.xml

<configuration>
<property>
    <name>dfs.replication</name>
    <value>1</value>
    <description>hadoop中每一个block文件的备份数量</description>
  </property>
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>/opt/soft/hadoop313/data/dfs/name</value>
    <description>namenode上存储hdfsq名字空间元数据的目录</description>
  </property>
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>/opt/soft/hadoop313/data/dfs/data</value>
    <description>datanode上数据块的物理存储位置目录</description>
  </property>
  <property>
    <name>dfs.permissions.enabled</name>
    <value>false</value>
    <description>关闭权限验证</description>
  </property>
  </configuration>

配置mapred-site.xml

vim mapred-site.xml

<configuration>
<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
    <description>job执行框架： local, classic or yarn</description>
    <final>true</final>
  </property>
  <property>
    <name>mapreduce.application.classpath</name>
    <value>/opt/soft/hadoop313/etc/hadoop:/opt/soft/hadoop313/share/hadoop/common/lib/*:/opt/soft/hadoop313/share/hadoop/common/*:/opt/soft/hadoop313/share/hadoop/hdfs/*:/opt/soft/hadoop313/share/hadoop/hdfs/lib/*:/opt/soft/hadoop313/share/hadoop/mapreduce/*:/opt/soft/hadoop313/share/hadoop/mapreduce/lib/*:/opt/soft/hadoop313/share/hadoop/yarn/*:/opt/soft/hadoop313/share/hadoop/yarn/lib/*</value>
  </property>

  <property>
    <name>mapreduce.jobhistory.address</name>
    <value>gree143:10020</value>
  </property>
  <property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>gree143:19888</value>
  </property>

  <property>
    <name>mapreduce.map.memory.mb</name>
    <value>1024</value>
  </property>
  <property>
    <name>mapreduce.reduce.memory.mb</name>
    <value>1024</value>
  </property>
  </configuration>

配置yarn-site.xml

vim ./yar-site.xml

<configuration>

<!-- Site specific YARN configuration properties -->

  <property>
    <name>yarn.resourcemanager.connect.retry-interval.ms</name>
    <value>20000</value>
  </property>

  
  <property>
    <name>yarn.resourcemanager.scheduler.class</name>
    <value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler</value>
  </property>

  <property>
    <name>yarn.nodemanager.localizer.address</name>
    <value>gree143:8040</value>
  </property>

  <property>
    <name>yarn.nodemanager.address</name>
    <value>gree143:8050</value>
  </property>

  <property>
    <name>yarn.nodemanager.webapp.address</name>
    <value>gree143:8042</value>
  </property>


  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>

  <property>
    <name>yarn.nodemanager.local-dirs</name>
    <value>/opt/soft/hadoop313/yarndata/yarn</value>
  </property>

  <property>
    <name>yarn.nodemanager.log-dirs</name>
    <value>/opt/soft/hadoop313/yarndata/log</value>
  </property>
</configuration>

配置Hadoop环境变量

在jdk环境变量后加上

# HADOOP_HOME
export HADOOP_HOME=/opt/soft/hadoop313
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HADOOP_HOME/lib
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export HDFS_JOURNALNODE_USER=root
export HDFS_ZKFC_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export HADOOP_YARN_HOME=$HADOOP_HOME
export HADOOP_INSTALL=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_LIBEXEC_DIR=$HADOOP_HOME/libexec
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop

5.刷新配置文件

source /etc/profile

查看是否刷新成功,能出现即成功

echo $HADOOP_HOME

在这里插入图片描述

6.初始化并测试运行

初始化

hdfs namenode-format

启动服务

start-all.sh

在这里插入图片描述

jps查看服务

在这里插入图片描述

在浏览器输入
http://IP地址:9870访问网站

在这里插入图片描述

涐ｄé丗堺
关注
  • 0
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
CentOs7下安装Hadoop详细步骤
weixin_58941637的博客
12-07 5306
一、安装虚拟机 版本（CentOS7） 二、修改主机名（当前虚拟机的主机名） 1.查看当前的主机名 hostname 2.修改主机名 vi /etc/hostname （1）一定要在vi的命令模式下（在编辑模式下按esc键） :wq #保存退出 :wq! #强制保存退出 :q #退出 :q! #强制退出 （2）编辑模式下：i当前光标所在的位置。 3.启动命令： reboot -h now 补充：第二种修改主机名的方式 Hostnamectl set-hostname <自己编写的主机名&g
centos7关于 hadoop的安装
hangoer的博客
07-24 131
hadoop的安装 解压hadoop [root@hdp01 sbin]# tar -zxvf /opt/software/hadoop-2.7.6.tar.gz -C /opt/apps/ 修改配置hadoop-env.sh文件 [root@hdp01 etc]# cd /opt/apps/hadoop-2.7.6/etc/hadoop/ [root@hdp01 hadoop]# vi ./hadoop-env.sh #在最后面添加java环境 export JAVA_HOME=/opt/apps/
CentOS7安装Hadoop集群完整步骤
weixin_55076626的博客
05-26 1万+
1. 安装3台centos7服务器 1.1.配置名字hadoop01\hadoop02\hadoop03 hostnamectl set-hostname hadoop01 hostnamectl set-hostname hadoop02 hostnamectl set-hostname hadoop03 1.2.修改hosts文件 vi /etc/hosts 文件末尾添加以下内容： hadoop01的ip地址 hadoop01 hadoop02的ip地址 hadoop02 ha
超详细版本|Linux Centos7从零搭建Hadoop集群及运行MapReduce分布式集群案例(全网最详细教程！)
未来社会二十年发展的核心技术趋势由ABCD四个字母组成，分别是AI（人工智能）、BlockChain（区块链）、Cloud（云）、和Data（大数据）每一次进步都有新的认知和感触
11-20 8470
花了快2小时的超详细版本的Linux从零搭建Hadoop集群(CentOS7+hadoop 3.2.0+JDK1.8+Mapreduce完全分布式集群案例+详细源码图文讲解)终于整理完成了！里面有详细的代码讲解及图文操作，能够更好的帮助大家搭建，希望此教程对各位有所帮助，这些都已经试过水了，各位环境配置和操作没问题的话，基本都能部署完成，我这里部署了一个从机node1节点，可以根据自己需要增加3台或者更多node节点，节点配置信息修改的操作都是一样的。祝各位部署一切顺利！
大数据平台搭建——hadoop集群（基于CentOS-7）的搭建
m0_73509128的博客
08-13 5599
本次hadoop集群搭建的虚拟机采用的软件为VMware Workstation Pro，用的镜像文件为CentOS-7，此篇文章是为自己准备大数据比赛中的大数据平台搭建部分所写，故只针对搭建hadoop集群搭建的部分进行概述，前绪工作包括虚拟机的搭建读者可以阅读下面的文章自行进行安装。将主机上的hadoop文件传输到副机上去，这里可以先新建两个虚拟机并且和前面一样配置好相关信息，再在终端中输入：scp -r 源hadoop文件路径 机器用户名：目标路径位置后，即可传输，比较麻烦，
Linux系统（Centos7）实现hadoop安装
热门推荐
weixin_45831715的博客
12-07 1万+
Linux系统（Centos7）实现hadoop安装
Centos7下hadoop集群安装配置
Alidayu
06-27 227
一般hadoop集群通常是由一组机器组成，一般3~5（不小于3个节点）台机器就可以组成一个hadoop集群了。准备了3台装好的虚拟机192.168.0.110、192.168.0.111、192.168.0.112，由于需要依赖JDK所以先配置好了（此处安装的版本是JDK1.8，百度网盘提取码：i3cw），如果不会的自行百度安装。 1、安装 1.1下载安装包 此处安装的版本是HADOOP3.3.0，百度网盘提取码：tvwq 官网直接下载：http://www.apache.org/dyn/close
CentOS7-hadoop安装配置.pdf
02-03
CentOS7-hadoop安装配置
CentOS7 Hadoop 2.7.X 安装部署.docx
04-29
CentOS7 Hadoop 2.7.X 安装部署 本文档将指导您如何在 CentOS 7 上安装和部署 Hadoop 2.7.X。Hadoop 是一个开源的大数据处理框架，由 Apache 开发，旨在提供高效、可靠、可扩展的数据处理能力。 准备软件包 在...
centos安装配置hadoop超详细过程.docx
05-19
centos安装配置hadoop超详细过程.docx
CentOS7 Hadoop单机安装教程
01-26
本教程旨在指导用户在CentOS 7系统上安装和配置Hadoop单机环境。该教程假设用户已经具备基本的Linux知识和虚拟机或云服务器的使用经验，并且熟悉Java语言。 前提条件： * 了解Linux基本操作 * 了解虚拟机或云...
CentOS7 Hadoop 2.7.X 安装部署.rar
03-19
在本教程中，我们将深入探讨如何在CentOS7操作系统上安装和部署Hadoop 2.7.x版本。Hadoop是一个开源的分布式计算框架，广泛应用于大数据处理和存储。以下是详细的步骤和注意事项，确保您能够成功地搭建起一个运行在...
centos7安装hadoop
qq_57074721的博客
01-21 2194
点击完成，来到信息安装摘要界面，点击软件选择。默认是最小安装，为了方便我们学习，需要点进去选择一些配置。点击编辑虚拟机设置，点击CD\DVD，选择IOS镜像文件，这个镜像文件就是centos7的镜像文件。在安装的过程中，设置root用户的密码，可根据自己的需求添加普通用户。根据自己的电脑配置，选择处理机的数量以及每个核的数量。选择标准分区，添加挂载点/boot 分配1G空间。点击主机名，设置一个方便识别的主机名，点击完成。来到欢迎界面，左边滑倒最底下，选择中文。添加挂载点，分配剩下的空间，点击完成。
CentOS-7 Hadoop集群部署
最後の後悔的博客
07-27 518
Hadoop 3.3.x集群部署，原理大致相似
centos7中进行hadoop搭建全过程
m0_54501766的博客
08-13 1371
1.安装模版虚拟机,(以下地址均为实例,具体情况具体应用)IP地址192.168.10.100,主机名称hadoop100,内存4G,硬盘50G2.配置要求1)确认虚拟机联网,ping www.baidu.com试试,ping的同即可2)安装epel-release。
3. CentOS 7 安装 hadoop
博客简介
04-04 1886
准备阶段 1.判断是否已安装JDK，若无则安装，若有则进入正题。 # java -version JDK安装详解https://blog.csdn.net/qq_53715214/article/details/123890380?spm=1001.2014.3001.5502 2.hadoop 安装 进入设置好共享的文件夹下进行解压移动 hadoop # vmhgfs-fuse .host:/ /mnt/hgfs 挂载共享文件夹 # ..
Centos7安装Hadoop教程
宇宙的黑洞
07-11 1万+
一：安装SSH 1，执行下面的命令安装ssh yum install openssh-clients yum install openssh-server 2，执行如下命令测试一下 SSH 是否可用（SSH首次登陆提示 yes/no 信息，输入 yes 即可，然后按照提示输入 root 用户的密码，这样就登录到本机了），如下图所示。 3，执行以下命令 exit ...
Centos7普通用户安装Hadoop
m0_52879657的博客
04-29 4968
Centos7通过普通用户安装启动Hadoop
基于Hadoop平台的电信客服数据的处理与分析④项目实现：任务18： 数据展示
最新发布
qq_60872637的博客
07-03 860
接下来我们需要将根据业务需求将某人按照不同维度查询出来的结果，展示到Web页面上。
centos7hadoop配置文件
10-01
CentOS 7上的Hadoop配置文件位于`/opt/app/hadoop-2.7.3/etc/hadoop`目录中。您可以使用以下命令编辑配置文件： ``` vi /opt/app/hadoop-2.7.3/etc/hadoop/core-site.xml vi /opt/app/hadoop-2.7.3/etc/hadoop/hdfs-site.xml vi /opt/app/hadoop-2.7.3/etc/hadoop/mapred-site.xml vi /opt/app/hadoop-2.7.3/etc/hadoop/yarn-site.xml ``` 请根据您的需求编辑相应的配置文件。完成后，保存并退出编辑器。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值