大数据环境搭建1：apache hadoop环境搭建（centos7）

最新推荐文章于 2021-07-19 00:33:01 发布
最新推荐文章于 2021-07-19 00:33:01 发布
阅读量425 收藏 1
点赞数
分类专栏： 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wangping623/article/details/96431797
版权
本文详细介绍了在CentOS7上搭建Apache Hadoop 2.7.7集群的步骤，包括集群规划、主机名和IP设置、防火墙与Selinux关闭、JDK安装、SSH免密登录、Hadoop的下载、安装、配置及启动，以及集群监控等。
摘要由CSDN通过智能技术生成

1. 集群规划 

2. 修改主机名（三台机器）

3. 设置ip地址 （如果有图形界面，可以直接通过图形界面进行设置，三台机器） 

4. 配置主机名映射(三台机器) 

5. 关闭防火墙和selinux（三台机器） 

6. 安装jdk（略） 

7. 拍摄快照，方便日后重新搭建环境 

8. 配置ssh免密码登录 

9. 下载apache hadoop2.7.7 

10. 解压安装hadoop 

11. 配置hadoop环境变量 

12. 修改hadoop-env.sh配置文件 

13. 修改core-site.xml 

14. 配置hdfs-site.xml 

15. 配置mapred-site.xml 

16. 修改yarn-site.xml 

17. 拷贝hadoop安装文件夹到从机 

18. 主节点配置slave 

19. hadoop格式化 

20. hadoop启动 

21. 使用jps查看java进程 

22. 使用浏览器访问hadoop集群和yarn 

23. 停止hadoop 

24. 拍摄虚拟机快照，方便进一步在此基础上进行环境搭建 

25. 文档说明： 

 

  1. 集群规划

主机

cpu核数

内存

ip

每个节点安装的服务

master

1

3g

192.168.108.10

namenode, secondnamenode,datanode,resourcemanager,nodemanager,JobHistoryServer

slave1

1

2g

192.168.108.11

datanode, nodemanager

slave2

1

2g

192.168.108.12

datanode, nodemanager

 

  1. 修改主机名（三台机器）

（1）centos7使用如下命令修改主机名（centos6需要配置/etc/sysconfig/network）

hostnamectl set-hostname master

  1. 设置ip地址 （如果有图形界面，可以直接通过图形界面进行设置，三台机器）
  1. 编辑网卡配置文件，需要设置正确的网关地址，本例按照NAT模式进行设置，需要设置NAT的网关地址，否则上不了外网

vi /etc/sysconfig/network-script/ens-33

TYPE=Ethernet

PROXY_METHOD=none

BROWSER_ONLY=no

BOOTPROTO=static

DEFROUTE=yes

IPV4_FAILURE_FATAL=no

IPV6INIT=yes

IPV6_AUTOCONF=yes

IPV6_DEFROUTE=yes

IPV6_FAILURE_FATAL=no

IPV6_ADDR_GEN_MODE=stable-privacy

NAME=ens33

UUID=ccc1cf88-6881-4eec-9ec1-9c8539dec83d

DEVICE=ens33

ONBOOT=yes

GATEWAY=192.168.108.2

DNS1=192.168.108.2

DNS2=8.8.8.8

NETMASK=255.255.255.0

（2）设置完成后需要重启网络服务

service network restart

  1. 配置主机名映射(三台机器)

vi /etc/hosts

192.168.108.10 master

192.168.108.11 slave1

192.168.108.12 slave2

  1. 关闭防火墙和selinux（三台机器）

（1）关闭防火墙(centos6不同)

systemctl stop firewalld

systemctl disable firewalld

systemctl status firewalld

 

（2）关闭linux的子安全系统

vi /etc/sysconfig/selinux

SELINUX=disabled

reboot

  1. 安装jdk（略）
  2. 拍摄快照，方便日后重新搭建环境
  3. 配置ssh免密码登录
  1. ssh-keygen -t rsa
  2. ssh-copy-id master
  3. scp authorized_keys slave1:/root/.ssh

其余机器都做同样的操作

  1. 下载apache hadoop2.7.7

https://hadoop.apache.org/releases.html

 

  1. 解压安装hadoop

tar -zxvf hadoop-2.7.7.tar.gz -C /home/wangping/app

  1. 配置hadoop环境变量

vi /etc/profile

export HADOOP_HOME=/home/wangping/app/hadoop-2.7.7

export PATH=$HADOOP_HOME:PATH

  1. 修改hadoop-env.sh配置文件

cd /home/wangping/app/hadoop-2.7.7/etc/hadoop

vi /hadoop-env.sh

export JAVA_HOME=/home/wangping/app/jdk1.8.0_144

  1. 修改core-site.xml

<configuration>

    <property>

        <name>fs.defaultFS</name>

        <value>hdfs://master:9000</value>

    </property>

    <property>

        <name>hadoop.tmp.dir</name>

        <value>/home/wangping/app/hadoop-2.7.7/tmp</value>

    </property>

</configuration>

  1. 配置hdfs-site.xml

<configuration>

    <property>

        <name>dfs.namenode.secondary.http-address</name>

        <value>master:50090</value>

    </property>

    <property>

        <name>dfs.replication</name>

        <value>3</value>

    </property>

    <property>

        <name>dfs.namenode.name.dir</name>

        <value>/home/wangping/app/hadoop-2.7.7/tmp/dfs/name</value>

    </property>

    <property>

        <name>dfs.datanode.data.dir</name>

        <value>/home/wangping/app/hadoop-2.7.7/tmp/dfs/data</value>

    </property>

</configuration>

  1. 配置mapred-site.xml

<configuration>

<property>

     <name>mapreduce.framework.name</name>

     <value>yarn</value>

</property>

<property>

    <name>mapreduce.jobhistory.address</name>

     <value>master:10020</value>

</property>

<property>

     <name>mapreduce.jobhistory.webapp.address</name>

     <value>master:19888</value>

</property>

</configuration>

  1. 修改yarn-site.xml

<configuration>

<!-- Site specific YARN configuration properties -->

    <property>

        <name>yarn.resourcemanager.hostname</name>

        <value>master</value>

    </property>

    <property>

        <name>yarn.nodemanager.aux-services</name>

        <value>mapreduce_shuffle</value>

    </property>

</configuration>

 

  1. 拷贝hadoop安装文件夹到从机

scp -r hadoop-2.7.7/ slave1:/home/wangping/app

scp -r hadoop-2.7.7/ slave2:/home/wangping/app

  1. 主节点配置slave

vi slaves

master

slave1

slave2

  1. hadoop格式化

cd /home/wangping/app/hadoop-2.7.7/bin

./hadoop namenode -format

./hadoop datanode -format

  1. hadoop启动

cd sbin

./start-all.sh

./start-all.sh ./mr-jobhistory-daemon.sh start historyserver

 

  1. 使用jps查看java进程

jps

13153 NodeManager

13554 JobHistoryServer

12584 NameNode

12872 SecondaryNameNode

13049 ResourceManager

12700 DataNode

 

  1. 使用浏览器访问hadoop集群和yarn

http://192.168.108.10:50070

http://192.168.108.10:8088

  1. 停止hadoop

cd sbin

./stop all

  1. 拍摄虚拟机快照，方便进一步在此基础上进行环境搭建
  2. 文档说明：

黄色为需要编辑的文本内容

灰色为shell命令

 

 

 

 

 

 

 

 

 

我能想到的
关注
专栏目录
Linux大数据开发centos7中的hadoop完全分布式开发环境搭建
hair请的的博客
10-12 361
主机名: lky01 lky02 lky03 Hadoop安装包版本： hadoop-2.7.5.tar.gz 解压安装包 tar -zxvf hadoop-2.7.5.tar.gz -C /opt 重命名解压出来的安装包 mv hadoop-2.7.5.tar.gz hadoop 添加Hadoop环境变量 vi /etc/profil.d/hadoop-etc.sh export HADOOP_HOME=/opt/hadoop export PATH=$PATH:$HADOOP
大数据之Hadoop环境搭建
大数据基础入门教程
12-29 334
Hadoop由GNU / Linux平台及其版本支持。因此，我们必须安装一个Linux操作系统来设置Hadoop环境。如果您有除Linux以外的操作系统，您可以在其中安装Virtualbox软件，并在Virtualbox内部安装Linux。 安装前设置 在将Hadoop安装到Linux环境之前，我们需要使用ssh（Secure Shell）来设置Linux。按照以下步骤设置Linux环境。 ...
虚拟机CentOs的安装及大数据的环境搭建
tsxylhs的博客
07-13 226
虚拟机CentOs的安装及大数据的环境搭建 大数据问题汇总 1.安装问题 1.安装步骤，详见文档《centos虚拟机安装指南》 2.vi编辑器使用问题，详见文档《linux常用命令.pdf》 3.网络中继更改问题 命令： ...
【大数据环境搭建（一）】VMware虚拟机安装Centos7详细教程
Feng-licong
07-19 741
【大数据环境搭建（一）】VMware虚拟机安装Centos7详细教程准备一、VMware下载及安装下载安装VMware二、Centos7安装Centos7镜像下载Centos7安装总结后续 准备 此教程所用的配置如下： VMware-workstation-full-16.1.2-17966106.exe CentOS-7-x86_64-Minimal-1804.iso 备注：pandas 是基于NumPy 的一种工具，该工具是为了解决数据分析任务而创建的。 一、VMware下载及安装 下载 下载地址
大数据环境搭建-----虚拟机下Linux-----CentOS 7 安装详解
皇棠
05-26 789
本文讲解如何在虚拟机里安装Centos7 虚拟机版本:VM15 第一步:下载Centos镜像: https://www.centos.org 第二步:选择镜像 第三步:选择镜像 第四步到第十步:VM环境的准备 第五步 第六步: 第七步: 第八步 第九步 第十步: 开始安装啦啦啦啦啦啦!!! 进去后选择install Centos如果不会选,那么就: 等待一会! 等待...
Apache Hadoop HA集群环境搭建
猫君之上的博客
03-27 216
NameNode 做了HA，ResourceManager也做了HA 1.HA集群节点概览 电脑配置不够，所以NameNode所在节点上装了DataNode,实际开发搭建的话，NameNode所在节点上不要放DataNode 注意：此处不说zookeeper的部分，上篇文章 https://blog.csdn.net/qq_33713328/article/details/88854991...
大数据学习之Hadoop环境搭建
大数据Hadoop学习
12-20 187
一、Hadoop的优势 1）高可靠性：因为Hadoop假设计算元素和存储会出现故障，因为它维护多个工作数据副本，在出现故障时可以对失败的节点重新分布处理。 2）高扩展性：在集群间分配任务数据，可方便的扩展数以千计的节点。 3） 高效性：在MapReduce的思想下，Hadoop是并行工作的，以加快任务处理速度。 4）高容错性：自动保存多份副本数据，并且能够自动将失败的任务重新分配。 二、...
大数据技术基础实验报告-Linux环境下hadoop集群的搭建与基本配置.doc
08-21
【大数据技术基础实验报告-Linux环境下hadoop集群的搭建与基本配置】 实验主要涉及了大数据技术中的基础概念，包括Linux操作系统、Java环境、SSH服务、Hadoop集群的搭建与配置。以下是具体步骤和知识点的详细解释：...
大数据教程之搭建Hadoop集群.zip_大数据环境搭建hadoop
01-09
标题中的“大数据教程之搭建Hadoop集群.zip_大数据环境搭建hadoop”暗示了这是一个关于如何在大数据环境中构建Hadoop集群的教程。Hadoop是Apache软件基金会的一个开源项目，主要用于处理和存储海量数据，其分布式...
大数据Hadoop平台搭建(Apache)
weixin_43929380的博客
04-07 716
Hadoop环境搭建 一、节点详情 服务器 配置 组件 hadoop101 8核/16.0GB QuorumPeerMain,PrestoServer,Kafka,DataNode,NodeMananger,worker(spark) hadoop102 8核/16.0GB QuorumPeerMain,PrestoServer(coordernary),Kafka,Secon...
大数据环境安装部署说明文档
03-25
部署项目所需的Hadoop集群环境。包括分布式文件系统HDFS,分布式应用程序协调服务器Zookeeper,分布式发布订阅消息系统Kafka,关系型数据库MYSQL,基于Hadoop和MYSQL的数据仓库引擎Hive,Hadoop与结构化数据存储之间的数据转换工具Sqoop和计算引擎Spark。
大数据开发环境搭建2：Apache Hive环境搭建(centos7)
wangping623的专栏
08-07 195
一、前提条件 1. 先搭建hadoop环境，具体参考Apache Hive环境搭建 二、mysql安装（rpm方式安装，可以使用yum方式安装，更加智能，会自动安装依赖） 1. 卸载mariadb rpm -qa | grep mariadb rpm -e --nodeps mariadb-libs-5.5.60-1.el7_5.x86_64 2. 解压 tar -axvf ...
大数据-Hadoop-搭建(一)：搭建Hadoop完全分布式集群（在VMware中的Linux虚拟机）【CentOS6】【独立安装Apache Hadoop】
u013250861的博客
01-14 1505
大数据-Hadoop：搭建Hadoop完全分布式集群（在VMware中的Linux虚拟机） 一、VMware、Linux虚拟机环境准备 1、网络配置 1.1 查看网络IP和网关 1.1.1 查看虚拟网络编辑器 1.1.2 修改ip地址 1.1.3 查看网关 1.1.4 查看windows环境的中VMnet8网络配置(控制面板-网络和Internet-更改适配器选项) 1.2 配置Linux系统的网络IP和网关 1.2.1 查看当前网络IP 1.2.2 修改当前Linux系统的IP地址为固定地址 1.2.3
Apache版hadoop环境搭建（伪分布式）
I.E.船长的远航之路
12-05 347
环境准备：一：安装linux系统CentOS-6.5-x86_64-bin-DVD1.iso二：创建用户hadoop三：配置网络 SCRT访问步骤：一：修改主机名/etc/hosts —>hadoop1 /etc/sysconfig/network —hadoop1重启……reboot二：关闭防火墙service iptables stop 关闭 (service iptables st
CentOS7搭建大数据环境之路（四）------安装Kafka
Odd Man
05-12 286
前言 就是记录在CentOS上安装Kafka的步骤。 步骤 步骤一、安装 下载地址 http://mirror.bit.edu.cn/apache/kafka/2.5.0/kafka_2.13-2.5.0.tgz 传到服务器|直接在服务器下载 方式一、上传到服务器 cd /app rz 选择上传文件即可 方式二、直接在服务器下载 wget http://mirror.bit.edu.cn/apache/kafka/2.5.0/kafka_2.13-2.5.0.tgz 解压 tar zxvf kafka
CentOS7搭建大数据环境之路（二）------安装Hadoop
Odd Man
03-25 375
前言 就是记录在CentOS上安装Hadoop的步骤。 步骤 步骤一、安装 下载地址 https://downloads.apache.org/hadoop/common/hadoop-3.2.1/ 传到服务器 mkdir /app rz 选择上传文件即可 解压 tar -zxvf hadoop-3.2.1.tar.gz 安装目录 /app/hadoop-3.2.1 步骤二、配置 JDK ...
基于Centos 7 准备 大数据环境的前奏
weixin_45417821的博客
02-07 959
其实以前做 Centos 6 做习惯了，但是今天才知道，原来Centos 6 在 去年年底已经停止维护和更新了，不得不开始学习Centos 7 环境 时间命令 （原始） [luanhao@localhost ~]$ timedatectl set-ntp no [luanhao@localhost ~]$ timedatectl set-time "2021-02-05 20:12:30" [luanhao@localhost ~]$ date 1）准备三台虚拟机，虚拟机配置要求如下：（这里只配置单台）
Apache Hadoop的安装与配置
weixin_30924239的博客
07-21 159
Hadoop很火，不学不好意思。由于资料很多、书籍很多。本文简略介绍。 1.安装ubuntu(或其他linux操作系统，或虚拟机上安装) 2.安装jdk，并配置环境变量 3.下载hadoop，解压。（http://hadoop.apache.org/，我下载了0.20.2） 4.伪分布模式配置 伪分布的Hadoop是只有一个节点的集群。在这个集群中，当前计算机既是master也...
大数据基础环境搭建
普通Gopher
10-13 773
实验环境: Centos7 Xshell 安装包版本: hadoop-2.7.3.tar.gz apache-hive-2.1.1-bin.tar hbase-1.2.4-bin.tar.gz jdk-8u171-linux-x64.tar.gz mysql-connector-java-5.1.47-bin.jar scala-2.11.12.tgz spark-2.4.0-bin-had...
大数据平台搭建教程：Hadoop生态系统实践
"搭建大数据平台的教程，涵盖了Hadoop生态系统的多个组件，包括Hive的离线分析、Storm的实时分析以及Solrcloud和Hbase的搜索架构。教程还涉及到集群的基础平台搭建，使用了如Hadoop HA、Storm、Kafka、Flume等技术，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值