![](https://img-blog.csdnimg.cn/58947bd6c373486a82843f5ba7c489c2.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
Hadoop
文章平均质量分 67
java大数据-Hadoop
Antgeek
喜欢各种技术,前端后端大数据均有涉猎,目前从事大数据开发.
展开
-
shell脚本实现删除hdfs下n天前的数据
数据打满,shell实现删除hdfs下n天前的数据原创 2022-03-17 16:52:00 · 2376 阅读 · 1 评论 -
分布式资源管理与任务调度-Yarn
一.简介1.是什么Yarn(Yet Another Resource Negotiator,另一种资源协调者)一种新的hadoop资源管理器,一个通用的资源管理系统2.产生背景hadoop1.x版本中JobTracker,TaskTracker的MRv1模型有很多局限性,如下:JobTracker出现单点故障,整个集群瘫痪JobTracker负载过重仅支持MR计算框架资源管理和任务调度没有解耦3.Yarn的特点资源管理与任务调度解耦,一个集群的资源共享上层各个计算框架,按需分配原创 2021-10-13 20:53:57 · 345 阅读 · 0 评论 -
MapReduce进阶
一.HDFS数据格式1.文件格式2.压缩格式3.设置mr的输出格式例子:设置输出格式为gzipshell命令启动时要携带对应的参数:# 命令太长时 可以用 \ 新开一行yarn jar aaa.jar com.aaa.main.Wordcount \-Dmapred.output.compress=true \-Dmapred.output.compression.codec=org.apache.hadoop.io.compressGzipCodec \输入路径 输出路径启动类原创 2021-10-13 16:30:56 · 190 阅读 · 0 评论 -
肝到半夜3点,上亿行数据,豪秒级查询
一个小demo,简单掌握java nio文件随机读写原创 2021-10-12 19:28:35 · 121 阅读 · 0 评论 -
分布式计算框架MapReduce
一.介绍产生背景: web2.0时代到来,大量的数据需要处理,单机处理已经不能满足需求,分布式存储与计算进入历史舞台是什么:是一个面向大数据处理的计算框架基本特点:提供可靠的分布式计算,封装了细节开发流程简单,跨语言二.运行流程MapReduce主要流程就两步任务调度分配任务执行map执行(任务打散执行)reduce执行(map执行结果合并)详细运行流程如下:三.案例1.单词统计需求分析在 hdfs 目录/tmp/tianliangedu/input/wordcoun原创 2021-10-08 02:24:10 · 270 阅读 · 0 评论 -
分布式存储-HDFS
一.特点高容错和高可用性流式数据访问弹性存储,支持大规模数据集简答一致性模型(一次写,多次读)移动计算而非移动数据协议和接口多样多样的数据管理功能二.架构设计2.1核心组件NameNode(NN)元数据管理者,管理NameSpace(文件系统命名空间)记录文件是如何切分并存储在那些节点上的一些信息NameSpace上任何属性的更改都由NameNode记录,维护整个系统的文件和目录.DataNode(DN)DN是文件系统的工作节点,根据客户端或者NameNode发送的管原创 2021-09-27 15:34:54 · 130 阅读 · 0 评论 -
认识Hadoop
一.起源起源于搜索引擎08年成为apache的顶级项目09-12年 0.x-1.x快速发展,但是超大规模集群和HA等成为瓶颈13-17年 2.x快速发展,解决了超大集群和HA瓶颈17年至今 3.x快速发展,主要在提升执行效率(锦上添花)二.架构2.1核心组件HDFS(存储),MapReduce(计算),yarn(任务调度)2.2其他常用组件HBase,Hive,Zookeeper,Streaming2.3架构2.4组件介绍HDFS分布式文件存储系统,高容错,高可用性,流原创 2021-09-27 00:24:31 · 77 阅读 · 0 评论