Hadoop-环境搭建-完全分布式

最新推荐文章于 2024-08-06 20:52:38 发布
置顶 最新推荐文章于 2024-08-06 20:52:38 发布
阅读量209 收藏
点赞数 2
文章标签： hadoop 大数据 java linux centos
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_36141487/article/details/109569007
版权

一、 安装centos7并配置集群时间

二、增加用户和用户权限

  1. 增加用户
useradd wangchao
  1. 修改密码
passwd wangchao

  1. 赋予权限
    1）编辑

    vim /etc/sudoers

    2） 增加

    wangchao ALL=(ALL)      NOPASSWD: ALL

三、修改主机名（每个节点对应各自的主机名）

hostnamectl --static set-hostname hadoop101

三、修改静态ip

  • 编辑文件
vim /etc/sysconfig/network-scripts/ifcfg-ens33
  • 修改BOOTPROTO="static"也就是将dhcp改为static
  • 修改ONBOOT=“yes” 意思是将网卡设置 为开机启用
  • 同时在下方添加
IPADDR=192.168.88.101 #静态IP   
GATEWAY=192.168.88.2  #默认网关(通过netstat -rn查看)  
NETMASK=255.255.255.0 #子网掩码   
DNS1=192.168.0.1      #DNS 配置   
DNS2=8.8.8.8          #谷歌地址
  • 重启网络
service network restart

四、关闭防火墙

  1. 查看防火墙状态
firewall-cmd --state
  1. 停止firewall
systemctl stop firewalld.service
  1. 禁止firewall开机启动
systemctl disable firewalld.service

五、克隆3份虚拟机并修改各自的ip和主机名

从第六节开始是用xshell登录wangchao账户操作

  • 注意：使用创建完全克隆

六、修改hosts

  1. 编辑vim /etc/hosts,增加：
 192.168.88.101 hadoop101  
 192.168.88.102 hadoop102  
 192.168.88.103 hadoop103

并且尝试一下是否可以ping

  1. window修改hosts文件 增加一样的
  2. 三个机器都要配置

七、配置免密登录

  • 一般配置到ResourceManage的机器上(在hadoop102上配置即可)
  • 生成公钥和私钥
ssh-keygen -t rsa
  • 将公钥拷贝到要免密登录的目标机器上
ssh-copy-id hadoop101  
ssh-copy-id hadoop102  
ssh-copy-id hadoop103

八、安装JDK和Hadoop

JDK版本1.8，Hadoop版本2.7.2 下载地址，失效联系，提取码：m04o
下面基本上都是在hadoop102上配置，如需配置所有节点有说明

  1. 创建soft和module目录
    1）创建目录

     sudo mkdir /opt/soft  /opt/module

    2）赋予wangchao用户权限

     sudo chown -R wangchao /opt/soft /opt/module

  2. 上传jdk和hadoop到soft目录，并解压到module目录

  3. 配置jdk和hadoop环境变量 (所有节点都需要配置)
    1）编辑 /etc/profile文件

    sudo vim /etc/profile

    增加

    JAVA_HOME=/opt/module/jdk1.8.0_121
HADOOP_HOME=/opt/module/hadoop-2.7.2
PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export PATH JAVA_HOME HADOOP_HOME

    2）刷新

    source /etc/profile

    3）测试

    输入jps和hadoop fs

  4. 编写xsync和xcall脚本放在/home/wangchao/bin 目录下,bin目录需要创建
    1）xsync脚本

    #!/bin/bash
#校验参数是否合法
if(($#==0))
then
	echo 请输入要分发的文件!
	exit;
fi
#获取分发文件的绝对路径
dirpath=$(cd `dirname $1`; pwd -P)
filename=`basename $1`

echo 要分发的文件的路径是:$dirpath/$filename

#循环执行rsync分发文件到集群的每条机器
for((i=101;i<=103;i++))
do
	echo ---------------------hadoop$i---------------------
	rsync -rvlt $dirpath/$filename  wangchao@hadoop$i:$dirpath
done

    2）xcall脚本

    #!/bin/bash
#在集群的所有机器上批量执行同一条命令
if(($#==0))
then
	echo 请输入您要操作的命令！
	exit
fi

echo 要执行的命令是$*

#循环执行此命令
for((i=101;i<=103;i++))
do
	echo ---------------------hadoop$i-----------------
	ssh hadoop$i $*
done

    3）赋予权限

    chmod u+x xsync 
chmod u+x xcall

    4）输入xcall和xsync测试是否可用

  5. 配置Hadoop（配置文件都在/opt/module/hadoop-2.7.2/etc/hadoop下）
    1）配置core-site.xml

    vim core-site.xml

    修改为

    <configuration>
    <!-- 指定HDFS中NameNode的地址 -->
    <property>
            <name>fs.defaultFS</name>
            <value>hdfs://hadoop101:9000</value>
    </property>
    <!-- 指定Hadoop运行时产生文件的存储目录 -->
    <property>
            <name>hadoop.tmp.dir</name>
            <value>/opt/module/hadoop-2.7.2/data/tmp</value>
    </property>
</configuration>

    2）配置hdfs-site.xml

    vim hdfs-site.xml

    修改为

    <configuration>
    <!-- 指定Hadoop辅助名称节点主机配置 -->
    <property>
            <name>dfs.namenode.secondary.http-address</name>
            <value>hadoop103:50090</value>
    </property>
</configuration>

    3）配置yarn-site.xml

    vim yarn-site.xml

    修改为

    <configuration>
    <!-- reducer获取数据的方式 -->
    <property>
            <name>yarn.nodemanager.aux-services</name>
            <value>mapreduce_shuffle</value>
    </property>
    <!-- 指定YARN的ResourceManager的地址 -->
    <property>
            <name>yarn.resourcemanager.hostname</name>
            <value>hadoop102</value>
    </property>
    <property>
            <name>yarn.log-aggregation-enable</name>
            <value>true</value>
    </property>
    <!-- 日志保留时间设置7天 -->
    <property>
            <name>yarn.log-aggregation.retain-seconds</name>
            <value>604800</value>
    </property>
</configuration>

    4）配置mapred-site.xml

    mv mapred-site.xml.template mapred-site.xml
vim mapred-site.xml

    修改为

    <configuration>
        <!-- 指定mr运行在yarn上 -->
        <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>
        <property>
                <name>mapreduce.jobhistory.address</name>
                <value>hadoop101:10020</value>
        </property>
        <property>
                <name>mapreduce.jobhistory.webapp.address</name>
                <value>hadoop101:19888</value>
        </property>
        <!--第三方框架使用yarn计算的日志聚集功能 -->
        <property>
                <name>yarn.log.server.url</name>
                <value>http://hadoop101:19888/jobhistory/logs</value>
        </property>
</configuration>

  6. 分发文件，JDK和Hadoop（在配置免密登录的机器上执行，我的是hadoop102）
    1）分发JDK

    xsync /opt/module/jdk1.8.0_121/

    2）分发Hadoop

    xsync /opt/module/hadoop-2.7.2/

    执行过后在所有节点上的 /opt/module/ 下都应有jdk和hadoop文件

  7. 集群说明及配置
    1）Hadoop各节点说明

    hadoop101			hadoop102			hadoop103
datanode			datanode			datanode
nodemanager		    nodemanager			nodemanager
namenode			resourcemanager		secondarynamenode
JobHistoryServer

    2）格式化namenode，在hadoop101上执行

    hadoop namenode -format

    3）配置集群

    vim slaves

    修改为：

    hadoop101
hadoop102
hadoop103

    注意不要有空行

    4）配置.bashrc,注意一定要先cd(所有节点都需要配置)

    cd
vim .bashrc

    增加

    source /etc/profile

    输入xcall jps测试是否成功

九、启动Hadoop

  1. 启动hafs(hadoop102上执行）
start-dfs.sh
  1. 启动yarn(hadoop102上执行）
start-yarn.sh
  1. 启动jobhistory(hadoop101上执行）
mr-jobhistory-daemon.sh start historyserver
  1. 查看是否启动成功(hadoop102上执行）
xcall jps

显示如下证明启动正常

[wangchao@hadoop102 hadoop-2.7.2]$ xcall jps
要执行的命令是jps
---------------------hadoop101-----------------
8050 NodeManager
8199 Jps
7962 JobHistoryServer
7851 DataNode
7725 NameNode
---------------------hadoop102-----------------
9908 DataNode
10586 Jps
10155 ResourceManager
10283 NodeManager
---------------------hadoop103-----------------
59186 NodeManager
58947 DataNode
59331 Jps
59080 SecondaryNameNode

否则去查看日志，日志文件目录/opt/module/hadoop-2.7.2/logs

  1. WEB页面
http://hadoop102:8088/
http://hadoop101:50070/

如有错误，请指出，谢谢

wgco319
关注
  • 2
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
搭建Hadoop分布式集群
Mr_zhe的博客
11-01 336
欢迎关注IT最新知识
Hadoop之伪分布式配置安装
weixin_44144773的博客
01-30 3734
Hadoop支持本地模式、伪分布式模式、完全分布式模式3种安装模式。本地模式，在系统中下载Hadoop,默认情况下，它会被配置为一个独立的模式， 用于运行Java程序;伪分布式模式，这是在单台机器上的分布式模拟，这种模式对开发非常有用:完全分布式模式，又叫集群安装，Hadoop 安装在最少两台计算机的集群中。 安装VMware并安装CentOS： CentOS下载https://www.centos.org/download/系统安装完成后需要进行如下配置 一、配置CentOS 1....
Hadoop 大数据平台常用组件端口号汇总
0x8g1T9E-
03-10 3925
组件 端口及说明 CDH 7180： Cloudera Manager WebUI端口 7182： Cloudera Manager Server 与 Agent 通讯端口 Hadoop 50070：HDFS WEB UI端口 8020 ： 高可用的HDFS RPC端口 9000 ： 非高可用的HDFS RPC端口 8088 ： Yarn 的WEB UI 接口 8485 ： JournalNode 的RPC端口 8019 ： ZKFC端口 ...
Hadoop的端口解决办法！！
qq_55475330的博客
06-08 387
在我们在启动Hadoop集群的时候会出现端口没有启动成功！ 很困扰很多新手，我也是。可能在那么一瞬间，我自己找到了解决的办法。 比如，是DataNode这个端口没有启动成功，这个端口没有启动成功会很影响后面学习Hadoop；比如，hadoop fs 这些命令会报错，还有网页也可能打不开等很多问题，就是因为这个导致的。 解决办法：看dfs的data里面有没有启动起来。 如果没有，就在cd $HADOOP_HOME这个下面有一个log4的文件，进去找到相应的端口日志，找到后用cat查看一下，在到里面找到data
大数据---Hadoop安装教程（二）
大呱的博客
02-06 547
Hadoop环境配置及安装
hadoop安装与配置
li575098618的专栏
08-22 1069
（一）hadoop单节点安装配置 1、安装Oracle Java 8sudo add-apt-repository ppa:webupd8team/java sudo apt-get update sudo apt-get install oracle-java8-installer查看你的java版本java -version2、创建一个Hadoop用户 （可选）sudo addgroup ha
搭建hadoop-完全分布式模式
01-07
文章目录搭建简单的Hadoop完全分布式模式分析首先设置集群规划虚拟机准备设置静态ip与主机名，设置用户为超级用户配置java环境hadoop安装配置集群配置core-site.xmlHDFS 配置文件YARN 配置文件MapReduce 配置文件这...
hadoop-3.3.4 版本（最新版）
12-14
Hadoop 是一个能够让用户轻松搭建和使用的分布式计算平台，能 够让用户轻松地在 Hadoop 上开发和运行处理海量数据的应用程序。 Hadoop 架构有两个主要的组件：分布式文件系统 HDFS 和 MapReduce 引擎。 在 Hadoop 中...
hadoop完全分布式环境搭建.docx
02-17
hadoop、分布式环境、完全分布式、大数据、搭建
Hadoop-3.1.2完全分布式环境搭建过程图文详解（Windows 10）
10-16
主要介绍了Hadoop-3.1.2完全分布式环境搭建过程图文详解（Windows 10），本文分步骤给大家介绍的非常详细，具有一定的参考借鉴价值 ,需要的朋友可以参考下
Hadoop完全分布式环境搭建.docx
02-17
【Hadoop完全分布式环境搭建】 在大数据处理领域，Hadoop是一个关键的开源框架，它提供了在分布式计算环境中存储和处理海量数据的能力。本教程将详细介绍如何在虚拟机中搭建一个完全分布式Hadoop环境，适用于学习者...
Hadoop安装配置
shmilychan的博客
06-01 916
Hadoop分布式配置
hadoop cdh4.5 mapreduce yarn 配置文件 （接上文）
Talk Is Cheap
05-05 3463
yarn-site.xml:
spark编程中设置hadoop的属性
wk022的专栏
04-08 3537
当使用spark进行编程时，如果使用yarn-client方式提交，可以通过以下方式设置hadoop的属性 val conf = new SparkConf() conf.set("spark.hadoop.yarn.resourcemanager.address", "test01:8050") 源码分析： 当spark任务提交时采用yarn模式，程序会启动YarnClientSc
Hue - Oozie Editor: Retrying connect to server: localhost/127.0.0.1:8050 的错误解决方法
热门推荐
Laurence的技术博客
05-19 1万+
问题描述在当前版本的HUE(2.6.1-2)里，oozie editor存在一个糟糕的BUG: 用户无法在workflow的配置中指定${jobTracker}和${nameNode}的值，尽管我尝试了所有可以尝试的地方，但是当通过hue去submit(不是通过oozie的命令行）一个workflow时，${jobTracker}和${nameNode}的值都被无情的重置了！如果这两个属性的值刚好是
Hadoop安装和配置
weixin_34346099的博客
05-10 89
环境：Ubuntu16.10、hadoop-2.7.2 一、 在Linux中安装hadoop 1、 将hadoop的开发包上传到Linux中 2、 将hadoop解压缩到“/usr/local”目录下 tar xzvf hadoop-2.7.2.tar.gz -C /usr/local 3、 进行目录名称修改 mv hadoop-2.7....
大数据 hadoop 部署 分析错误
qq_41809929的博客
01-10 1774
hadoop Check MapReduce2报出错误 stderr: /var/lib/ambari-agent/data/errors-50.txt Traceback (most recent call last): File “/var/lib/ambari-agent/cache/common-services/YARN/2.1.0.2.0/package/scripts/mapred_...
Hadoop常用端口号
GG的专栏
11-20 1万+
转载地址：https://www.cnblogs.com/jancco/p/4447756.html 一、常用端口组件 节点 默认端口 配置 用途说明 HDFS DataNode 50010 dfs.datanode.address datanode服务端口，用于数据传输 HDFS DataNode 50075 dfs.datanode.htt
Hadoop入门：构建你的第一个大数据处理平台
最新发布
2401_85639015的博客
08-06 1157
Hadoop是由Apache基金会开发的开源框架，用于分布式存储和处理大规模数据集。Hadoop分布式文件系统（HDFS）：一个分布式文件系统，提供高吞吐量的数据访问。MapReduce：一种分布式计算模型，用于处理和生成大数据集。：一种资源管理系统，用于管理集群资源和调度作业。除了这些核心组件，Hadoop生态系统还包括许多其他工具和框架，如Hive、Pig、HBase、Spark等，帮助开发者更高效地处理和分析大数据。
hadoop-3.3.3完全分布式集群搭建
09-10
为了搭建hadoop-3.3.3的完全分布式集群，需要完成以下步骤： 1. 确保环境准备：安装JDK 1.8、hadoop 3.3.3和CentOS 7操作系统。 2. 配置JDK环境变量：解压JDK，并修改/etc/profile文件，添加JDK的路径到环境变量中...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值