hadoop运维

已于 2022-06-10 12:59:49 修改
阅读量430 收藏
点赞数 1
文章标签： hadoop
于 2022-06-10 12:53:46 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Linus_zyx/article/details/125185748
版权

hadoop完全分布式集群搭建

环境准备

安装vmware workstation软件（略）
在vmware workstation中创建虚拟机（略）
集群安装规划：

主机名IP地址namenodedatanodezookeeperjournalnodezkfcresourcemanagernodemanager
hadoop1192.168.8.2yesyesyesyesyesyesyes
hadoop2192.168.8.3yesyesyesyesyesyesyes
hadoop3192.168.8.4noyesyesyesnonoyes
  1. 修改主机名
 hostname hadoop1
 echo hadoop1 > /etc/hostname

说明：三台机器都需要操作
2. 配置IP地址和主机名映射
执行：ip a 查看本机ip地址(例如：192.168.8.2)

echo 192.168.8.2 hadoop1 >> /etc/hosts

说明：三台机器都需要操作
3. 关闭selinux

setenforce 0
 sed -i 's/enforcing/disabled/g' /etc/sysconfig/selinux

说明：三台机器都需要操作
4. 关闭防火墙

 systemctl disable firewalld
 systemctl stop firewalld

说明：三台机器都需要操作
5. 免密登录

 ssh-keygen
 ssh-copy-id root@hadoop1
 ssh-copy-id root@hadoop2
 ssh-copy-id root@hadoop3

说明：只在第一台机器操作
6. 安装java(默认系统已经安装，执行一下命令查看版本)

 java -version

说明：三台机器都需要操作

安装zookeeper

下载zookeeper安装包

最新版本下载：https://dlcdn.apache.org/zookeeper/zookeeper-3.8.0/apache-zookeeper-3.8.0-bin.tar.gz
历史版本下载：https://archive.apache.org/dist/zookeeper/

解压安装包

tar zxvf apache-zookeeper-3.8.0-bin.tar.gz

创建zookeeper配置文件(conf/zoo.cfg)

tickTime=2000
initLimit=10
syncLimit=5
dataDir=/data/zookeeper
clientPort=2181
server.1=hadoop1:2888:3888
server.2=hadoop2:2888:3888
server.3=hadoop3:2888:3888

echo 1 > /data/zookeeper/myid
说明：三台机器都需要操作（上面的数字“1” ：hadoop1 对应1，hadoop2 对应2，hadoop3对应3）

启动zookeeper

/opt/zookeeper/bin/zkServer.sh start

说明：三台机器都需要操作

安装hadoop

下载hadoop安装包

最新版本下载：https://dlcdn.apache.org/hadoop/common/hadoop-3.3.3/hadoop-3.3.3.tar.gz
历史版本下载：https://archive.apache.org/dist/hadoop/

解压安装包

tar zxvf hadoop-3.3.3.tar.gz
#将解压后的软件包移动到/usr/local/目录中
mv hadoop-3.3.3 /usr/local

修改配置文件

进入hadoop的安装目录，然后修改如下配置

  1. 修改etc/hadoop/workers
echo -e "hadoop1\nhadoop2\nhadoop3" > etc/hadoop/workers

说明：只在第一台机器操作
2. 修改etc/hadoop/hadoop-env.sh

echo "export JAVA_HOME=$JAVA_HOME" >> etc/hadoop/hadoop-env.sh

说明：只在第一台机器操作
3. 修改etc/hadoop/core-site.xml

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://cluster</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/data/hadoop</value>
    </property>
    <property>
        <name>ha.zookeeper.quorum</name>
        <value>hadoop1:2181,hadoop2:2181,hadoop3:2181</value>
    </property>
    <property>
        <name>hadoop.proxyuser.hadoop.hosts</name>
        <value>*</value>
    </property>
    <property>
        <name>hadoop.proxyuser.hadoop.groups</name>
        <value>*</value>
    </property>
</configuration>
  1. 修改etc/hadoop/hdfs-site.xml
<configuration>
    <property>
        <name>dfs.nameservices</name>
        <value>cluster</value>
    </property>
    <property>
        <name>dfs.ha.namenodes.cluster</name>
        <value>nn1,nn2</value>
    </property>
    <property>
        <name>dfs.namenode.rpc-address.cluster.nn1</name>
        <value>hadoop1:9000</value>
    </property>
    <property>
        <name>dfs.namenode.http-address.cluster.nn1</name>
        <value>hadoop1:50070</value>
    </property>
    <property>
        <name>dfs.namenode.rpc-address.cluster.nn2</name>
        <value>hadoop2:9000</value>
    </property>
    <property>
        <name>dfs.namenode.http-address.cluster.nn2</name>
        <value>hadoop2:50070</value>
    </property>
    <property>
        <name>dfs.namenode.shared.edits.dir</name>
        <value>qjournal://hadoop1:8485;hadoop2:8485;hadoop3:8485/cluster</value>
    </property>
    <property>
        <name>dfs.journalnode.edits.dir</name>
        <value>/data/hadoop/journaldata</value>
    </property>
    <property>
        <name>dfs.ha.automatic-failover.enabled</name>
        <value>true</value>
    </property>
    <property>
        <name>dfs.client.failover.proxy.provider.cluster</name>			     
        <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
    </property>
    <property>
        <name>dfs.ha.fencing.methods</name>
        <value>sshfence</value>
    </property>
    <property>
        <name>dfs.ha.fencing.methods</name>
        <value>
            sshfence
            shell(/bin/true)
        </value>
    </property>
    <property>
        <name>dfs.ha.fencing.ssh.private-key-files</name>
        <value>/root/.ssh/id_rsa</value>
    </property>
</configuration>
  1. 修改etc/hadoop/mapred-site.xml
<configuration>
     <property>
	<name>mapreduce.framework.name</name>
	<value>yarn</value>
     </property>
</configuration>
  1. 修改etc/hadoop/yarn-site.xml
<configuration>
<property>
  <name>yarn.nodemanager.aux-services</name>
  <value>mapreduce_shuffle</value>
</property>
<property>
       <name>yarn.nodemanager.aux-services.mapreduce_shuffle.class</name>
       <value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
  <name>yarn.resourcemanager.ha.enabled</name>
  <value>true</value>
</property>
<property>
  <name>yarn.resourcemanager.cluster-id</name>
  <value>cluster</value>
</property>
<property>
  <name>yarn.resourcemanager.ha.rm-ids</name>
  <value>rm1,rm2</value>
</property>
<property>
  <name>yarn.resourcemanager.hostname.rm1</name>
  <value>hadoop1</value>
</property>
<property>
  <name>yarn.resourcemanager.hostname.rm2</name>
  <value>hadoop2</value>
</property>
<property>
  <name>yarn.resourcemanager.webapp.address.rm1</name>
  <value>hadoop1:8088</value>
</property>
<property>
  <name>yarn.resourcemanager.webapp.address.rm2</name>
  <value>hadoop2:8088</value>
</property>
<property>
  <name>hadoop.zk.address</name>
  <value>hadoop1:2181,hadoop2:2181,hadoop3:2181</value>
</property>
<property>
  <name>yarn.app.mapreduce.am.env</name>
  <value>HADOOP_MAPRED_HOME=/opt/hadoop</value>
</property>
<property>
  <name>mapreduce.map.env</name>
  <value>HADOOP_MAPRED_HOME=/opt/hadoop</value>
</property>
<property>
  <name>mapreduce.reduce.env</name>
  <value>HADOOP_MAPRED_HOME=/opt/hadoop</value>
</property>
</configuration>

分发安装包，将hadoop的安装包传输到其他的机器

scp -r /usr/local/hadoop root@hadoop2:/usr/local
scp -r /usr/local/hadoop root@hadoop3:/usr/local

启动journalnode

/usr/local/hadoop/sbin/hadoop-daemon.sh start journalnode
#说明：只在第一台机器操作

格式化zkfc并启动(hadoop1)

/usr/local/hadoop/bin/hdfs zkfc -formatZK
/usr/local/hadoop/sbin/hadoop-daemons.sh start zkfc
#说明：只在第一台机器操作

格式化namenode并启动(hadoop1)

/usr/local/hadoop/bin/hdfs namenode -format
/usr/local/hadoop/sbin/hadoop-daemon.sh start namenode
#说明：只在第一台机器操作

复制元数据到secondarynode(hadoop2)

/usr/local/hadoop/bin/hdfs  namenode  -bootstrapStandby
#说明：只在第二台机器操作

启动全部服务

/usr/local/hadoop/sbin/start-all.sh

验证

hadoop原生页面

在这里插入图片描述

yarn 原生页面

在这里插入图片描述

提交mapreduce测试程序：

yarn jar /usr/local/hadoop/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.3.jar pi 1 1
运行结果：
在这里插入图片描述

TOM_0z
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
大数据平台运维（hadoop入门（保姆篇））----概述及基本环境配置(HA-1)
weixin_62875153的博客
12-04 2939
大数据运维基础
hadoop运维常见问题
yuangejiageiwohaoma的博客
07-07 435
HDFS的架构原理和各核心组件的作用及关系 HDFS(Hadoop Distribute FIleSystem) 用来处理海量数据的存储，是hadoop的分布式文件系统。 核心组件： NameNode DataNoad SecondaNmenode NameNode：整个集群的元数据节点，主要负责存储整个集群的元数据信息（位置、大小、owner、操作时间等）和相应客户端的请求，管理数据块的映射，配置副本策略等 DataNode：实际存储数据块的地方 ，进行数据的读写 SecondNamenode：.
hadoop独立模式
weixin_30716725的博客
06-06 167
参考博客：http://my.oschina.net/winHerson/blog/121963 eclipse远程调试：http://zhangjie.me/eclipse-debug-hadoop/ 百度文档：http://wenku.baidu.com/link?url=13x1F92KXZt4Q2iLKfsu-kgRq64Nx-bKNM2eMV7wnxss2Rd1Al7XXRuDiEE...
Hadoop运维记录系列(二十二)
weixin_33795833的博客
06-20 100
今天抽空解决了一个Hadoop集群的一个非常有意思的故障，之所有有意思，是这个故障既可以称之为故障，又不算是故障，说不算问题吧，作业跑的特慢，说算问题吧，作业不但都能跑出来，还没有任何报错，所以还比较难查。故障表象是一帮人嚷嚷作业太慢了，跑不动，但是基本上嚷嚷一会就能跑出来，但相对于原来还是慢。我看了下，确实比较慢，有些作业一个map要半小时，但不是所有作业都这样，部分作业就很快，没有什么规律可循...
Hadoop运维那些事
张兆坤
09-07 6068
在实际的生产环境运维一个Hadoop集群有一些必须要关注的事情。 1、Namenode的高可靠性 2、节点配置与管理 3、Mapreduce的内存配置 4、启用trash 首要的是保证数据安全可靠，其次再去考虑存储效率、计算效率、运维效率的优化与提高，当你觉得Hadoop集群的性能太差太差的时候，其实是你对Hadoop的了解太少，Hadoop的效率没有被发挥出来。 数据的可
Hadoop实战（5）_Hadoop的运维经验
分享数据科学家的自我修养
10-29 1199
系列目录：Hadoop实战（1）_阿里云搭建Hadoop2.x的伪分布式环境Hadoop实战（2）_虚拟机搭建Hadoop的全分布模式Hadoop实战（3）_虚拟机搭建CDH的全分布模式Hadoop实战（4）_Hadoop的集群管理和资源分配Cloudera Manager如何卸载卸载CM Serversh /usr/share/cmf/uninstall-cloudera-manager.sh r
Hadoop运维记录系列(十一)
weixin_34192993的博客
09-12 121
记录一些Hive的优化点，和能够提升的效率差异。Hive是目前应用最多最广的SQL on Hadoop工具，近期很多专业的大数据公司推出了很多新的，基于列式或者内存热数据的SQL工具，像Impala，Tez，Spark等等，但是Hive仍然是目前使用率最高和普及面最广的SQL on Hadoop的工具。在以前淘宝罗李的报告中，淘宝90%的业务跑在Hive上面。暴风影音的比例更高一些，大概95%以上...
自动化运维之hadoop
weixin_44717560的博客
04-09 733
hadoop一、hadoop简介二、hadoop的下载及安装三、hadoop的基本使用1.Hadoop的3种安装模式1.本地（独立）模式——Standalone Operation2.伪分布模式——Pseudo-Distributed Operation3.完全分布模式——Fully-Distributed Mode 一、hadoop简介 Hadoop 是一个由 Apache 基金会所开发的分布式系统基础架构，它可以使用户在不了解分布式底层细节的情況下开发分布式程序，充分利用集群的威力进行高速运算和存储。
大数据云计算技术 Hadoop运维笔记（共21页）.pptx
09-04
【大数据云计算技术 Hadoop运维笔记】的PPT涵盖了Hadoop在蓝汛公司的应用实践，以及Cloudera的产品和运维经验。以下是对其中知识点的详细解释： 1. **Hadoop在蓝汛的应用**： - 蓝汛使用了6000台设备，300个集群，...
hadoop运维经验分享
11-07
在Hadoop运维领域，经验是宝贵的财富。2012年华东运维技术大会上分享的"Hadoop运维经验"涵盖了Hadoop生态系统中的多个关键方面，旨在帮助IT专业人士更好地管理和优化大规模数据处理环境。以下是对这些运维经验的详细...
hadoop部署与集群运维
02-02
里面讲了一些hadoo是如何部署与运维的知识点，希望对初学者有所帮助！
Hadoop运维杂记
07-16
Apache 推了一个Hadoop,这是一个开源的、免费的东东；每个人、每个公司都可以拿来修改，发布。在众多公司中做的比较好（用的也比较广泛）是Cloudera。所以它发布的Hadoop叫CDH。本文档以CDH为基础，讲述了系统搭建、运维方面的一些经验。它不是一个详细指导安装的文档、是一个杂记。
大数据云计算技术 Hadoop运维杂记（共21页）.rar
09-29
标题中的“大数据云计算技术 Hadoop运维杂记”表明这是一份关于Hadoop在大数据云计算环境下的运维实践文档。Hadoop是Apache基金会开发的一个开源框架，主要用于处理和存储大规模数据，尤其适合于处理非结构化和半...
hadoop日常运维
老猿说说专栏
11-10 424
日常运维 升级 问题处理方法 日常运维 进程管理 由于配置文件的更改，需要重启生效， 或者是进程自己因某种致命原因终止， 或者发现进程工作出现异常等情况下，需要进行手动进程的关闭或启动， 或者是增删节点过程中的需要， 进程的关闭与启动，使用 hadoop-daemon.sh start|stop datanode/namenode/journalnode/zkfc yarn-da...
hadoop 运维
dear_csdn的博客
04-14 366
netstat -n | awk  '/^tcp/ {++S[$NF]} END {for(a in S) print a,s[a]}' ALTER TABLE logs DROP IF EXISTS PARTITION(year = 2012, month = 12, day = 18); ALTER TABLE hotel_info_customer_comment_format
自动化运维之hadoop——大数据平台
Zhaohui_Zhang的博客
04-02 3900
目录 一、hadoop的下载及安装 二、hadoop的使用模式 1、本地(独立)模式——Standalone Operation 2、伪分布模式——Pseudo-Distributed Operation 官方网站： Apache Hadoophttps://hadoop.apache.org/ 一、hadoop的下载及安装 下载网站： Apache DownloadsHome page of The Apache Software Foundationhttps://www.a
大数据开发之Hadoop系统运维
shuimuzh123的博客
06-24 1858
在大数据处理的流程环节当中，运维是重要的一环，而从事运维工作的工程师们，也需要专业的技能支撑。不同于传统的运维，大数据运维，因为涉及到云计算、虚拟化等技术，所以工作任务也更加复杂。今天的大数据开发学习分享，我们来讲解Hadoop系统运维。 大数据时代的运维，涉及到大数据集群，比如说Hadoop，针对大规模的分布式集群，需要完成更复杂的运维工作。 通常来说，Hadoop大数据系统运维，需要掌握至少三个方面的技能，包括大数据运维平台的架构设计与部署、大数据平台的监控告警以及大数据平台的性能调优。 具.
hadoop系统运维-linux quta配置
技术博客
04-09 991
1. 客户端 quta 配额修改 (1) 编辑账户/群组的阀值与宽限时间 用edquota去设置用户myquota1的磁盘使用限制。 七个栏位的意义分别是： (1)檔案系統 (filesystem)：說明該限制值是針對哪個檔案系統 (或 partition)； (2)磁碟容量 (blocks)：這個數值是 quota 自己算出來的，單位為 Kbytes，請不要更動他；
计算机毕业设计pyspark+django+scrapy租房推荐系统 租房大屏可视化 租房爬虫 hadoop 58同城租房爬虫 房源推荐系统
最新发布
从业计算机毕业设计10年，打算用一年时间分享10年毕设经验！
08-19 1051
计算机毕业设计pyspark+django+scrapy租房推荐系统 租房大屏可视化 租房爬虫 hadoop 58同城租房爬虫 房源推荐系统
Hadoop运维实战指南
《Hadoop Operations》是由Eric Sammer撰写的一本专著，针对Hadoop这个强大的...这是一本关于Hadoop运维的实战宝典，对于想要在大数据领域立足的专业人士来说，无论是技术提升还是解决问题，都是不可或缺的参考资料。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值