![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据技术
文章平均质量分 92
大数据相关技术
经年藏殊
刃端百死何辞战, 雁血重书玄甲篇
展开
-
Hadoop3教程(三十六):(生产调优篇)企业开发场景中的参数调优案例概述
基于一个简单的企业级开发场景,介绍HDFS、MR和YARN的调优参数设置原创 2023-10-23 21:48:43 · 848 阅读 · 0 评论 -
Hadoop3教程(三十五):(生产调优篇)HDFS小文件优化与MR集群简单压测
针对HDFS中小文件优化的思路,以及简单的集群压测方法,仅做了解原创 2023-10-23 21:42:52 · 1039 阅读 · 0 评论 -
Hadoop3教程(三十四):(生产调优篇)MapReduce生产经验汇总
主要介绍了MR中各阶段常用的调优参数设置,并简单分析了下当MR程序跑的慢的时候,可以从哪些角度考虑优化原创 2023-10-22 02:20:13 · 931 阅读 · 0 评论 -
Hadoop3教程(三十三):(生产调优篇)慢磁盘监控与小文件归档
什么是慢磁盘,它对集群的影响以及我们该如何从集群中找出慢磁盘。另外介绍了如何通过小文件归档的方式,来解决小文件过多的问题。原创 2023-10-22 02:12:10 · 1290 阅读 · 0 评论 -
Hadoop3教程(三十二):(生产调优篇)NameNode故障恢复与集群的安全模式
简单介绍了如何使用SecondaryNameNode来修复NameNode的过程,重点介绍了集群安全模式的定义、作用,及如何处理和利用安全模式等原创 2023-10-22 02:04:32 · 834 阅读 · 0 评论 -
Hadoop3教程(三十一):(生产调优篇)异构存储
介绍了异构存储的定义、基本策略及相关shell操作,并通过一个案例进行了功能实操原创 2023-10-22 01:44:32 · 616 阅读 · 0 评论 -
Hadoop3教程(三十):(生产调优篇)纠删码
介绍了hadoop里纠删码的定义及原理,即它是如何以计算资源来换存储空间的,并介绍了纠删码的相关命令和策略算法,最后通过案例进一步展示了纠删码的作用原创 2023-10-21 10:31:55 · 924 阅读 · 0 评论 -
Hadoop3教程(二十九):(生产调优篇)集群扩容及缩容(白名单与黑名单)
首先简单介绍了白名单和黑名单的定义及设置方法,其次描述了集群是如何实现动态服役新节点和动态退役旧节点的,并介绍了服务器节点之间做数据均衡的方法原创 2023-10-21 10:15:35 · 509 阅读 · 0 评论 -
Hadoop3教程(二十八):(生产调优篇)NN、DN的多目录配置及磁盘间数据均衡
介绍了NameNode和DataNode的多目录是什么,以及如何开启它们的多目录。对DN来讲,如果多目录之间数据量差异过大,那又该如何进行磁盘间的数据均衡原创 2023-10-21 09:58:16 · 812 阅读 · 0 评论 -
Hadoop3教程(二十七):(生产调优篇)HDFS读写压测
该如何对集群进行HDFS的读写压测原创 2023-10-21 01:28:07 · 1061 阅读 · 0 评论 -
Hadoop3教程(二十六):(生产调优篇)NameNode核心参数配置与回收站的启用
介绍了hadoop里部分核心参数的配置方式,如NameNode内存相关参数的配置、NameNode心跳并发的配置,并介绍了如何启用hadoop的回收站原创 2023-10-21 00:42:35 · 1601 阅读 · 0 评论 -
Hadoop3教程(二十五):Yarn的多队列调度器使用案例
介绍了生产环境中多队列调度器的好处,以及如何为容量调度器和公平调度器添加多个队列,最后简单介绍了下这两个调度器在使用时的一些参数配置。原创 2023-10-20 00:05:05 · 1034 阅读 · 0 评论 -
Hadoop3教程(二十四):Yarn的常用命令与参数配置实例
简单介绍了Yarn的常用命令,以及核心参数的简单配置,仅了解,因此并没有深入原理原创 2023-10-19 19:34:22 · 970 阅读 · 0 评论 -
Hadoop3教程(二十三):Yarn的三大调度器
详细介绍了YARN的三大调度器:FIFO调度器、容量调度器、公平调度器的定义、特点、具体的资源调度算法等原创 2023-10-19 19:15:24 · 954 阅读 · 0 评论 -
Hadoop3教程(二十二):Yarn的基础架构与工作流程
介绍了YARN的基本架构及其中各组件的用处,还介绍了YARN工作时的完整流程原创 2023-10-18 23:57:42 · 668 阅读 · 0 评论 -
Hadoop3教程(二十一):MapReduce中的压缩
主要介绍了MR里压缩的定义、优缺点、常用压缩算法的对比,以及该在什么地方启用压缩,如何启用压缩等原创 2023-10-17 23:34:21 · 962 阅读 · 1 评论 -
Hadoop3教程(二十):MapReduce的工作机制总结
对MapTask和ReduceTask的工作机制、并行度决定机制进行了全面介绍,并对MapReduce的各个环节进行了简单的列举和总结原创 2023-10-17 21:59:30 · 1072 阅读 · 0 评论 -
Hadoop3教程(十九):MapReduce之ETL清洗案例
使用MR进行简单数据清洗的一个实例原创 2023-10-17 21:22:38 · 1272 阅读 · 0 评论 -
Hadoop3教程(十八):MapReduce之MapJoin案例分析
ReduceJoin是有一些缺陷的,所以某些场景下,我们可以使用MapJoin来替代ReduceJoin。本章主要是讲述了,如何使用MapJoin来解决之前用ReduceJoin解决的相同需求。原创 2023-10-17 20:27:04 · 635 阅读 · 0 评论 -
Hadoop3教程(十七):MapReduce之ReduceJoin案例分析
针对双表关联的需求,介绍如何用ReduceJoin的思想来编写MR程序,实现这个需求原创 2023-10-16 22:59:38 · 954 阅读 · 0 评论 -
Hadoop3教程(十六):MapReduce中的OutputFormat
介绍了Reduce阶段的输出组件OutputFormat,它的定义及分类等,以及结合一个具体的案例,讲述了自定义OutputFormat该如何实现原创 2023-10-16 22:40:32 · 902 阅读 · 0 评论 -
Hadoop3教程(十五):MapReduce中的Combiner
介绍了Shuffle中的Combiner机制,包括Combiner的定义、用处、特点,以及如何自定义Combiner类,并贴了一个启用Combiner的MR代码示例原创 2023-10-16 22:07:05 · 1644 阅读 · 0 评论 -
Hadoop3教程(十四):MapReduce中的排序
介绍了shuffle过程中的排序,关于排序是什么,有什么作用,在哪儿生效,以及有哪些分类,并对这些不同的排序分别贴了代码实现,也介绍了如何实现自定义排序原创 2023-10-16 21:53:54 · 1381 阅读 · 0 评论 -
Hadoop3教程(十三):MapReduce中的分区
MapReduce中默认的分区算法是什么,以及它是如何工作的,顺便举了一个自定义分区的案例,并总结了分区数和ReduceTask个数的关系。原创 2023-10-16 02:35:21 · 1064 阅读 · 0 评论 -
Hadoop3教程(十二):MapReduce中Shuffle机制的概述
主要讲解了,MapReduce里的shuffle是什么,以及shuffle的具体工作任务和流程是什么原创 2023-10-16 02:26:40 · 703 阅读 · 0 评论 -
Hadoop3教程(十一):MapReduce的详细工作流程
主要讲解了MapReduce的详细工作流程,即Map阶段和Reduce阶段都是在做什么原创 2023-10-16 02:16:14 · 1667 阅读 · 2 评论 -
Hadoop3教程(十):MapReduce中的InputFormat
MapReduce中InputFormat的作用,重点讲解了切片的功能,并介绍了InputFormat的几种实现类,比如说TextInputFormat和CombineTextInputFormat的工作流程原创 2023-10-15 17:50:53 · 648 阅读 · 0 评论 -
Hadoop3教程(九):MapReduce框架原理概述
简单介绍MapReduce的框架处理流程,后续小节会分阶段详细展开描述原创 2023-10-15 12:22:12 · 882 阅读 · 0 评论 -
Hadoop3教程(八):MapReduce中的序列化概述
MR中的序列化概述,什么是序列化、反序列化,为什么要序列化,以及怎么序列化,并复制了教程中的代码案例做解释原创 2023-10-15 11:03:04 · 653 阅读 · 0 评论 -
Hadoop3教程(七):MapReduce概述
MapReduce的定义、优缺点,核心思想及编程规范,并以wordcount需求为例,讲解了MR编程时各部分的作用原创 2023-10-15 00:36:46 · 593 阅读 · 0 评论 -
Hadoop3教程(六):HDFS中的DataNode
介绍了HDFS中,DataNode的工作机制,以及它是如何通过奇偶校验位和crc校验位来验证自己数据的正确性的,还有超时时长、心跳时长等参数的设置方法原创 2023-10-14 19:48:16 · 758 阅读 · 0 评论 -
Hadoop3教程(五):NameNode和SecondaryNameNode
介绍了Hadoop里的NameNode和SecondaryNameNode,比如它们之间是怎么协同工作的,以及FsImage镜像文件和Edits编辑日志的使用原创 2023-10-14 19:17:23 · 1042 阅读 · 0 评论 -
Hadoop3教程(四):HDFS的读写流程及节点距离计算
重点记录了HDFS中,数据的读流程和写流程,并介绍了其中涉及的节点距离计算方式、机架感知的优先级等原创 2023-10-14 10:37:32 · 751 阅读 · 0 评论 -
Hadoop3教程(三):HDFS文件系统常用命令一览
主要介绍了HDFS里日常使用最频繁的dfs命令,上传、下载、文件查看等原创 2023-10-13 21:11:47 · 1268 阅读 · 0 评论 -
Hadoop3教程(二):HDFS的定义及概述
HDFS的定义、使用场景、优缺点等,还有对各组件的介绍,最后介绍了文件块大小的设置问题原创 2023-10-13 18:43:13 · 546 阅读 · 0 评论 -
Hadoop3教程(一):Hadoop的定义、组成及全生态概览
介绍了Hadoop的定义、发行版本、组成及各组件的概述,还有对大数据技术生态体系的概览原创 2023-10-12 23:56:39 · 698 阅读 · 0 评论 -
Kafka:安装与简单使用
kafka在windows的安装与简单使用原创 2023-09-30 11:49:59 · 619 阅读 · 0 评论