![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
文章平均质量分 83
五块兰州拉面
你的所有烦恼都来自于读书太少而想的太多 ——杨绛
展开
-
YARN-HA配置
YARN-HA工作机制1. 官方文档:http://hadoop.apache.org/docs/r2.7.2/hadoop-yarn/hadoop-yarn-site/ResourceManagerHA.html2. YARN-HA工作机制避免rm单点故障3. 规划集群4. 配置yarn-site.xml<configuration> <property> <name>yarn.nodemanager.aux-services原创 2021-02-10 00:12:35 · 359 阅读 · 0 评论 -
HDFS HA高可用配置
HDFS-HA工作机制通过双NameNode消除单点故障;内存中各自保存一份元数据;Edits日志只有Active状态的NameNode节点可以做写操作;两个NameNode都可以读取Edits;共享的Edits放在一个共享存储中管理(qjournal和NFS两个主流实现);HDFS-HA故障转移机制当本地NameNode是健康的,ZKFC保持一个在ZooKeeper中打开的会话。如果本地NameNode处于active状态,ZKFC也保持一个特殊的znode锁,该锁使用了ZooKeeper对原创 2021-02-09 17:36:02 · 213 阅读 · 0 评论 -
hadoop之集群搭建手把手教学01
1.更改子网2.修改主机名3.修改网卡ip4.克隆,把eth1改为eth05.修改物理机和虚拟机的hosts映射192.168.1.3 hadoop003192.168.1.4 hadoop004192.168.1.5 hadoop0056.关闭防火墙,关闭开机自启7.安装jdk8.安装hadoop原创 2020-07-17 14:35:51 · 244 阅读 · 0 评论 -
hadoop之hdfs02
一、hdfs概述1.概念HDFS(Hadoop Distributed File System),它是一个文件系统,用于存储文件,通过目录树来定位文件;其次,它是分布式的,由很多服务器联合起来实现其功能,集群中的服务器有各自的角色。HDFS的设计适合一次写入,多次读出的场景,且不支持文件的修改,如果发现文件错误,可以删除重新上传。2.优缺点优点(1) 高容错性a) 数据自动保存多个副本。它通过增加副本的形式,提高容错性;b) 某一个副本丢失以后,其它副本有备份,能够自动恢复。(2) 适原创 2020-07-23 16:32:33 · 207 阅读 · 1 评论 -
Hadoop之mapreduce(一)03
一、 MapReduce入门1、 MapReduce定义Mapreduce是一个分布式运算程序的编程框架,是用户开发“基于hadoop的数据分析应用”的核心框架。Mapreduce核心功能是将开发者编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序,并发运行在一个hadoop集群上。2、 MapReduce优缺点优点(1) MapReduce 易于编程简单地实现一些接口或者继承一些框架准备好的类,重写一些方法,就就能够与框架进行有机结合,完成一个分布式程序,并部署到大量廉价的P原创 2020-08-01 20:28:42 · 256 阅读 · 0 评论 -
Hadoop之MapReduce(二)04
1、 MapReduce数据压缩1) 概述压缩技术能够有效减少底层存储系统(HDFS)读写字节数。压缩提高了网络带宽和磁盘空间的效率。在Hadoop下,尤其是数据规模很大和工作负载密集的情况下,使用数据压缩显得非常重要。在这种情况下,I/O操作和网络数据传输要花大量的时间。还有,Shuffle与Merge过程同样也面临着巨大的I/O压力。鉴于磁盘I/O和网络带宽是Hadoop的宝贵资源,数据压缩对于节省资源、最小化磁盘I/O和网络传输非常有帮助。不过,尽管压缩与解压操作的CPU开销不高,其性能的提升和原创 2020-08-09 21:24:30 · 259 阅读 · 0 评论 -
NameNode故障处理,数据恢复
NameNode故障后,可以采用如下两种方法恢复数据。方法一:将SecondaryNameNode中数据拷贝到NameNode存储数据的目录;kill -9 NameNode进程删除NameNode存储的数据(/opt/module/hadoop-2.7.2/data/tmp/dfs/name)[atguigu@hadoop003 hadoop-2.7.2]$ rm -rf /opt/module/hadoop-2.7.2/data/tmp/dfs/name/*拷贝SecondaryNameNo原创 2020-11-17 14:26:19 · 567 阅读 · 0 评论 -
HDFS小文件优化方法(存储、执行优化)
小文件存档案例实操(1)需要启动YARN进程[atguigu@hadoop102 hadoop-2.7.2]$ start-yarn.sh(2)归档文件把/user/atguigu/input目录里面的所有文件归档成一个叫input.har的归档文件,并把归档后文件存储到/user/atguigu/output路径下。[atguigu@hadoop102 hadoop-2.7.2]$ bin/hadoop archive -archiveName input.har –p /user/atg原创 2020-11-23 21:05:42 · 1312 阅读 · 0 评论 -
hadoop集群增加、删除节点机器,扩大集群规模
服役新数据节点需求随着公司业务的增长,数据量越来越大,原有的数据节点的容量已经不能满足存储数据的需求,需要在原有集群基础上动态添加新的数据节点。集群目前规模hadoop102(namenode),hadoop103(resourceManager),hadoop1041. 环境准备(1)在hadoop104主机上再克隆一台hadoop105主机(2)修改IP地址和主机名称(3)删除原来HDFS文件系统留存的文件(/opt/module/hadoop-2.7.2/data和log)(4)s原创 2020-11-17 16:51:25 · 505 阅读 · 0 评论 -
mr案例实操
代码和文件已打包上传,可先下载学习,包里分为两个文件,对应本篇的目录mapreduce文件1.统计文件每个单词出现次数,并分区单词首字母a-p一个文件,q-z一个文件文件:效果:2.统计每个手机号花费情况,并按手机号前三位分区文件:操作中要把第一行中文去掉效果:3.某班学生的语文和数学成绩,请将这两科成绩汇总并以姓名、总成绩两列输出到一个结果文件:效果:hadoop03文件4. 输出流量使用量在前10的用户信息flow文件5.map join案例对应原创 2020-11-24 15:07:19 · 321 阅读 · 0 评论