纯小白学习大数据hadoop第35天

Aria-1114

已于 2023-10-11 20:54:44 修改

阅读量62

点赞数

文章标签：大数据学习 hadoop

于 2023-10-11 20:53:09 首次发布

本文链接：https://blog.csdn.net/weixin_42539131/article/details/133778570

版权

学习YARN啦~

MapReduce学了很久。。。太难了尤其还要配合敲代码

OK，fine

视频进度 133/178

Yarn状态的查询，hadoop103:8088

HFDS状态的查询，hadoop102:9870

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

Aria-1114

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
纯小白学习大数据hadoop第35天

MapReduce学了很久。太难了尤其还要配合敲代码。Yarn状态的查询，hadoop103:8088。HFDS状态的查询，hadoop102:9870。
复制链接

扫一扫

学习大数据Hadoop的笔记，自己整理的比较条理

01-10

自己在大数据培训班学习整理的笔记，比较详细，适合新手学习，我感觉还是挺有帮助的，希望可以帮助到你

大数据Hadoop平台监控、预警及自动化共48页.pdf

03-26

自动化是大数据Hadoop平台监控、预警及自动化的第三个组件。它可以自动地执行故障恢复、故障排除和资源分配等操作，以确保Hadoop集群的高效运作和稳定运行。 大数据Hadoop平台监控、预警及自动化的重要性体现在以下...

参与评论您还未登录，请先登录后发表或查看评论

大数据 Hadoop 框架

03-22

在实际应用中，大数据的数据量通常高达数十 TB，甚至数百 PB。 高速 (Velocity) 大数据的“高速”指高速接收乃至处理数据 — 数据通常直接流入内存而非写入磁盘。在实际应用中，某些联网的智能产品需要实时或...

大数据hadoop视频教程

03-05

大数据Hadoop是一个开源的分布式计算框架，用于存储和处理大规模数据集。它由Apache基金会开发和维护，提供了可靠、可扩展和高效的数据处理能力。 Hadoop的核心组件包括： Hadoop分布式文件系统（HDFS）：用于存储...

一步一步学习大数据：Hadoop生态系统与场景

01-27

【大数据Hadoop生态系统的概述】 大数据的出现是由于互联网和物联网的快速发展，导致数据量呈指数级增长。根据IDC的预测，到2020年，全球数据量将达到44ZB，远超传统存储技术和架构所能承载的范围。大数据的特性被...

分布式系统常见软件架构模式

Ben的专栏

07-25

949

简而言之，有效管理数据和通信流对于构建健壮且可扩展的分布式系统至关重要。对等、API 网关、发布-订阅、请求-响应、事件溯源、ETL、批处理、流处理和编排等架构模式提供了有价值的解决方案，以应对系统设计和实现中的各种挑战。通过理解这些软件架构和分布式系统模式及其各自的优势和权衡，架构师和开发人员可以做出明智的决策，设计出满足其应用程序和用户不断变化的需求的系统。

SpringBoot整合Elastic-Job 2.1.53版本任务调度，手动任务，动态添加任务演示

小哇

07-23

382

zookeeper安装并成功运行。

数据分析师学习路线与就业环境分析报告

关注收藏，可以私信解决问题！

07-23

954

数据分析师负责收集、处理和分析数据，以帮助企业做出基于数据的决策。他们使用统计方法、数据建模和数据可视化技术来解释复杂的数据集。

江苏科技大学24计算机考研数据速览，有专硕复试线大幅下降67分！

m0_72717598的博客

07-23

488

江苏科技大学（Jiangsu University of Science and Technology），坐落在江苏省镇江市，是江苏省重点建设高校，江苏省人民政府与中国船舶集团有限公司共建高校，国家国防科技工业局与江苏省人民政府共建高校，教育部卓越工程师教育培养计划高校，教育部本科教学工作水平评估优秀学校，江苏省高水平大学建设高峰计划B类建设高校，中国船舶与海洋工程产业知识产权联盟、江苏船舶与海洋类高校协同发展联盟牵头单位。其中，研究生新生学业奖学金特等奖3万，一等奖1.2万，二等奖0.8万；

Kafka知识总结（选举机制+控制器+幂等性）

最新发布

月伴飞鱼

07-27

741

其他Broker启动时也会在Zookeeper中创建临时节点，但是发现节点已经存在，所以它们会收到一个异常，意识到控制器已经存在，那么就会在Zookeeper中创建Watch对象，便于它们收到控制器变更的通知。他只能保证单分区上的幂等性，即一个幂等性Producer只能够保证某个topic的一个分区上不出现重复消息，无法实现多分区的幂等。控制器上保存了最全的集群元数据信息，其他所有 Broker 会定期接收控制器发来的元数据更新请求，从而更新其内存中的缓存数据。目前，当有新 Broker 启动后，它会在。

杭州东网约车管理再出行方面取得的显著成效

2301_81759256的博客

07-25

479

本次革新，沧穹科技首创将音频“室内北斗”应用于网约车智能导航，利用其信号的空间传播特性和信号传播时间或相位差的精确测量技术，实现网约车智能化服务中对车辆与乘客实时位置的精确追踪，从而确保从预约到乘车的全流程实现智能化、可视化、灵活化管理。同时，管理部门还利用大数据分析，对网约车运营情况进行实时监控和分析，及时发现问题并进行处理，确保了网约车服务的稳定性和可靠性。同时，管理部门还将持续关注行业动态和乘客需求变化，不断优化服务流程和提高服务质量，为广大市民和游客提供更加便捷、安全、舒适的出行体验。

压测实操--produce压测方案

07-24

936

作者：九月环境信息：操作系统centos7.9，kafka版本为hdp集群中的2.0版本。

自定义维度映射：Kylin Cube设计的高级玩法

2401_85763639的博客

07-25

591

维度的自定义映射是指用户可以根据实际需求，将数据源中的列映射到Cube的维度，而不是简单地使用一对一的映射。直接映射：将数据源中的列直接映射到Cube的维度。转换映射：对数据源中的列进行转换后，再映射到Cube的维度。组合映射：将多个数据源列组合成一个维度。在Kylin中，维度的自定义映射可以通过修改Cube的定义来实现。定义数据模型：在Hive中创建数据表，并定义好需要映射的列。编写Hive脚本：编写Hive SQL脚本来转换和组合数据源列。创建Cube。

AccessLog| 一款开源的日志分析系统

ClkLog的博客

07-26

373

系统采用Java语言、搭配OLAP数据库，涵盖基本web日志分析，同时提供性能分析，帮助高效运维

Kylin查询优化器深度解析：大数据查询性能的加速引擎

2401_85812053的博客

07-25

570

Apache Kylin是一个开源的分布式分析引擎，专为Hadoop和Spark平台上的大数据集提供快速的SQL查询能力。Kylin的核心优势之一是其强大的查询优化器，它能够智能地优化查询计划，显著提高查询性能。本文将深入探讨Kylin的查询优化器是如何工作的，并提供详细的解释和代码示例。Kylin的查询优化器是一个强大的组件，通过多阶段的优化流程和关键技术，显著提高了大数据集上的SQL查询性能。通过本文的学习，你应该能够理解Kylin查询优化器的工作原理，并能够应用这些知识来优化你的查询。

国际金融入门：国际收支与平衡表解析

financeppl的博客

07-24

285

在全球化的经济体系中，国际金融已成为我们日常生活不可或缺的一部分。了解国际金融的基础知识，可以帮助我们更好地理解世界经济的动态和趋势。今天，我们将深入探讨国际收支及其平衡表，以及它们是如何影响国家经济。

Flink-CDC解析（第47天）

syhiiu的博客

07-27

1937

本文主要概述了Flink-CDC

区块链赋能民生大数据，共筑可信共享新生态

北桥源木

07-27

249

在信息化浪潮的推动下，政府服务模式正经历着前所未有的变革。民生卡，作为连接政府与民众的桥梁，承载着居民享受多元化公共服务的重任。然而，部门间信息孤岛现象严重制约了服务效率与居民体验的提升。为此，民生卡统一管理平台项目应运而生，其核心——统一权益信息共享子系统，更是聚焦于打破数据壁垒，开启公共服务新篇章。

每天一个数据分析题（四百五十）- 数据清洗

shiguangre的博客

07-26

148

内容涵盖Python，SQL，统计学，数据分析理论，深度学习，可视化，机器学习，Spark八个方向的专项练习题库，数据分析从业者刷题必备神器！数据在真正被使用前需进行必要的清洗，使脏数据变为可用数据。下列不属于“脏数据”的是（）A. 重复数据。B. 错误数据。C. 交叉数据。D. 缺失数据。

大数据Hadoop学习笔记深度解析与就业指南

本资源是一份全面的大数据学习笔记汇总，主要关注于Hadoop技术的学习和发展。笔记内容分为六个部分： 1. **HADOOP入门** 部分首先介绍了大数据课程的基本内容，包括课程概述、学习建议、就业前景和Hadoop的发展规划...