![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
z猿猿不断
这个作者很懒,什么都没留下…
展开
-
hadoop HA概述介绍
一、概述 (1)所谓HA(High Availablity),即高可用(7*24小时不中断服务)。 (2)实现高可用最关键的策略是消除单点故障。HA严格来说应该分成各个组件的HA机制:HDFS的HA和YARN的HA。 (3)Hadoop2.0之前,在HDFS集群中NameNode存在单点故障(SPOF)。 (4)NameNode主要在以下两个方面影响HDFS集群 NameNode机器发生意外,如宕机,集群将无法使用,直到管理员重启 NameNode机器需要升级,包括软件、硬件升级,此时集群也将无法使用翻译 2020-11-23 10:24:03 · 3597 阅读 · 0 评论 -
windows本地连接hadoop集群执行MapReduce
一、需求介绍 统计每一个手机号耗费的总上行流量、下行流量、总流量 (1)输入数据 1 13736230513 192.196.100.1 www.atguigu.com 2481 24681 200 2 13846544121 192.196.100.2 264 0 200 3 13956435636 192.196.100.3 132 1512 200 4 13966251146 192.168.100.1 240 0 404 5 18271575951 192.168....翻译 2020-11-20 13:56:29 · 242 阅读 · 0 评论 -
DataNode工作机制 & 新增hadoop节点 &下线节点
一、DataNode工作机制 (1)一个数据块在DataNode上以文件形式存储在磁盘上,包括两个文件,一个是数据本身,一个是元数据包括数据块的长度,块数据的校验和,以及时间戳。 (2)DataNode启动后向NameNode注册,通过后,周期性(1小时)的向NameNode上报所有的块信息。 (3)心跳是每3秒一次,心跳返回结果带有NameNode给该DataNode的命令如复制块数据到另一台机器,或删除某个数据块。如果超过10分钟没有收到某个DataNode的心跳,则认为该节点不可用。 (4)集翻译 2020-11-19 17:30:50 · 362 阅读 · 0 评论 -
NameNode和SecondaryNameNode工作流程 && Fsimage和Edits解析
思考:NameNode中的元数据是存储在哪里的? 首先,我们做个假设,如果存储在NameNode节点的磁盘中,因为经常需要进行随机访问,还有响应客户请求,必然是效率过低。因此,元数据需要存放在内存中。但如果只存在内存中,一旦断电,元数据丢失,整个集群就无法工作了。因此产生在磁盘中备份元数据的FsImage。 这样又会带来新的问题,当在内存中的元数据更新时,如果同时更新FsImage,就会导致效率过低,但如果不更新,就会发生一致性问题,一旦NameNode节点断电,就会产生数据丢失。 因此,引入Edits文翻译 2020-11-19 15:57:50 · 612 阅读 · 1 评论 -
hadoop配置日志的聚集
日志聚集概念:应用运行完成以后,将程序运行日志信息上传到HDFS系统上。 日志聚集功能好处:可以方便的查看到程序运行详情,方便开发调试。 注意:开启日志聚集功能,需要重新启动NodeManager 、ResourceManager和HistoryManager。 开启日志聚集功能具体步骤如下: 1)配置yarn-site.xml viyarn-site.xml,在该文件里面增加如下配置 <property> <name>yarn.log-a...原创 2020-11-18 16:59:14 · 124 阅读 · 0 评论 -
hadoop历史服务器搭建
为了查看程序的历史运行情况,需要配置一下历史服务器。具体配置步骤如下 1.配置mapred-site.xml vi mapred-site.xml,在该文件里面增加如下配置。 <!-- 历史服务器端地址 --> <property> <name>mapreduce.jobhistory.address</name> <value>hadoop101:10020</value> </property&...原创 2020-11-18 15:59:44 · 94 阅读 · 0 评论 -
从零开始hadoop集群搭建
一、配置jdk 1.将jdk包解压并重命名 tar -zxvf jdk-8u212-linux-x64.tar.gz mv jdk1.8.0_212/ jdk 2.配置环境变量 新建/etc/profile.d/my_env.sh文件 vi/etc/profile.d/my_env.sh,添加如下内容 #JAVA_HOME export JAVA_HOME=/work/jdk export PATH=$PATH:$JAVA_HOME/bin 重启xshell窗口,让环...原创 2020-11-18 15:46:03 · 139 阅读 · 0 评论 -
linux hadoop免密码配置
一、先给主机配置域名 这里有三台服务器分别是192.168.56.101、192.168.56.102、192.168.56.103,设置对应域名为hadoop101、hadoop102、hadoop103 1.手动本次将域名改为hadoop101 2.修改/etc/hosts文件 二、这里写个同步文件脚本便于后面操作文件同步 1.vixsync #!/bin/bash #1. 判断参数个数 if [ $# -lt 1 ] then echo Not Enough Arguem...原创 2020-11-17 20:57:22 · 484 阅读 · 0 评论