大数据学习随手记——Hadoop入门（上）

最新推荐文章于 2024-10-16 20:28:47 发布
最新推荐文章于 2024-10-16 20:28:47 发布
阅读量209 收藏
点赞数 1
分类专栏： 学习日记 文章标签： 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40198103/article/details/103123472
版权

Hadoop是什么？
——Hadoop是一个适合大数据的分布式存储和计算平台。

Hadoop的起源
——Hadoop最早起源于lucene下的Nutch，Hadoop这个名字不是一个缩写，而是一个虚构的名字，是由Hadoop之父Doug Cutting的孩子给一个棕黄色的大象玩具命名的。所以Hadoop的标志也就是一头棕黄色的大象。

Hadoop的三大核心组件

HDFS： Hadoop中分布式文件系统，为海量的数据提供存储。
HDFS中又包含
  -NameNode（Master）：管理者，只负责管理，管理集群内的各个节点，并且负责目录树(名字空间)的管理
  -SecondaryNameNode：辅助管理，只负责辅助NameNode管理工作
  -DataNode（Slave）：工作者，是负责工作，周期向NameNode汇报，进行读写操作

MapReduce：是一个基于YARN的分布式的资源调度和离线并行计算框架
-核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在Hadoop集群上。

YARN：管理集群资源调度的框架
YARN中又包含
-主节点resourceManager： 掌管集群中的资源
-从节点nodeManager：管理每台集群资源
小猿猿猿猿
关注
专栏目录
大数据学习指南合集（Hadoop、Spark、Flink等）
03-14
Hadoop——分布式文件管理系统HDFS   2. Hadoop——HDFS的Shell操作   3. Hadoop——HDFS的Java API操作   4. Hadoop——分布式计算框架MapReduce   5. Hadoop——MapReduce案例   6. Hadoop——资源调度器...
RabbitMQ随手记
chenbinkria的博客
03-21 163
In RabbitMQ a message can never be sent directly to the queue, it always needs to go through an exchange. But let’s not get dragged down by the details ‒ you can read more about exchanges in the third...
大数据学习随手记——大数据与传统数据的对比
qq_40198103的博客
11-18 967
首先得了解大数据是什么？ 数据集的大小已经远远超过了现有传统的技术方案（数据库）或工具他们的处理能力的数据
大数据 培训 课程 入门 HDFS hadoop
03-09
【大数据培训课程入门 HDFS Hadoop】 大数据技术已经成为现代企业数据处理的核心，其中Hadoop作为开源的分布式计算框架，扮演着重要角色。本课程旨在帮助初学者了解并掌握Hadoop和其分布式文件系统HDFS的基本概念和...
一个开源、成体系的大数据学习教程 spark学习 hadoop hive hbase flink教程 linux 从入门到精通
10-08
一个开源、成体系的大数据学习教程。spark学习 hadoop hive hbase flink教程 linux 从入门到精通 一个开源、成体系的大数据学习教程。spark学习 hadoop hive hbase flink教程 linux 从入门到精通 一个开源、成体系的...
020 elasticsearch7.10.2 elasticsearch-head kibana安装
m0_46695127的博客
10-13 771
020 elasticsearch7.10.2 elasticsearch-head kibana安装
第十二章 RabbitMQ之失败消息处理策略
Calvin的博客
10-11 1373
Spring AMQP提供了消费者失败重试机制，在消费者出现异常时利用本地重试，而不是无限地requeue到mq。我们可以定义一个异常队列和交换机，来接收其他交换机队列转发的无法处理的异常消息。然后我们可以查看其中的异常消息并进行人工处理。重试耗尽后，直接reject，丢弃消息（默认方式）重试耗尽后，将失败消息投递到指定的交换机（推荐）2. 定义接收失败消息的交换机、队列及其绑定关系。重试耗尽后，返回nack，消息重新入队。在实际项目的生产环境中，通过。
SparkSQL介绍及使用
m0_70882914的博客
10-13 417
SparkSQL介绍及使用
大数据与人工智能在金融风险控制中的应用
2405_87249521的博客
10-16 783
通过对海量数据的实时分析和智能化的预测模型，金融机构能够更准确地识别潜在风险，采取适当的防范措施，从而提升金融市场的稳定性和安全性。传统的信用评估主要依赖于财务报表和历史信用记录，而大数据技术可以结合客户的社交媒体行为、购物习惯、互联网搜索记录等非结构化数据，为风险评估提供更全面的视角。同时，AI还能够自动识别潜在的合规风险，减少人工审核的压力。大数据与人工智能在金融风险管理中有着广泛的应用场景，从信用评估、市场风险分析，到反欺诈和监管合规，都可以利用这些技术来提升风险控制的效率和准确性。
大数据治理：挑战与实践
weidl001的博客
10-13 1143
大数据治理是现代企业在数据管理过程中必须面对的挑战，通过科学有效的治理策略和先进的工具，企业可以有效地提升数据质量、增强数据安全、满足合规要求，并最大化数据的业务价值。随着大数据技术和AI的进步，大数据治理的自动化和智能化将为企业提供更强的竞争力。持续投入和关注数据治理，将有助于企业在复杂的数据环境中把握先机、实现创新。
第七章 RabbitMQ之交换机
Calvin的博客
10-10 1714
在RabbitMQ中，交换机（Exchange）是用来接收生产者发送的消息并将这些消息路由到一个或多个队列的组件。不同类型的交换机决定了它们如何路由这些消息。以下是RabbitMQ中几种常用交换机类型：直接交换机（direct）：如果路由键完全匹配，消息就被投递到相应的队列。广播交换机（fanout）：消息被广播到所有绑定的队列。主题交换机（topic）：如果路由键匹配模式（通配符*代表匹配多个单词和#代表匹配一个单词），消息被投递到相应的队列。头交换机（headers）：通过匹配消息头进行路由。
es简单实现文章检索功能
m0_73363097的博客
10-10 416
使用的api是：Elasticsearch Java API client 8.0。
大数据面试题整理——Zookeeper
最新发布
qq_68076599的博客
10-16 526
Zookeeper 是一个分布式协调服务，主要用于分布式系统中各个节点的协调与管理。
Hadoop集群基础搭建
lyx52Hertz的博客
10-13 938
HDFS的定义：HDFS是一种允许文件通过网络在多台主机上分享的文件系统，可以让多台机器上的多个用户分享文件和存储空间。HDFS的适用场景：适合一次写入，多次读出的场景，且不支持文件的修改。安装完成后/opt/module/目录下出现 hadoop-3.3.6文件。文件/root/.ssh/authorized_keys是个。mv命令用法：mv /要改名的文件路径 /改名后的路径。存放路径为：/hadoop的路径/etc/hadoop/：mv /要移动的文件路径 /目标目录的路径。
消息队列面试题——第二篇
weixin_42824596的博客
10-12 867
AMQP是一种开放标准的应用层协议，定义了消息的格式、消息队列的行为以及客户端和消息中间件之间的通信方式。他的主要目标是为不同平台上的消息传递提供标准化的、高效和可靠的支持。AMQP的基本组成部分Message Broker：消息中间件、负责接收、存储和转发消息，在AMQP中，RabbitMQ是一个典型的消息代理实现。Exchange：交换机、负责接收消息并根据绑定规则将消息路由到消息队列。AMQP定义了多种交换机类型，如direct、fanout、topic、header。
025 elasticsearch索引管理-Java原生客户端
m0_46695127的博客
10-16 211
025 elasticsearch索引管理-Java原生客户端
Linux的ElasticSearch(简称es)安装部署
m0_72898512的博客
10-10 385
命令:rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch。（编辑文件）：命令: vi /etc/yum.repos.d/elasticsearch.repo。一:命令:vim /etc/elasticsearch/elasticsearch.yml 编辑这个文件。命令:yum install -y elasticsearch。#74行，配置集群master节点。# 23行，设置节点名称。#17行，设置集群名称。
云栖实录 | 智能运维年度重磅发布及大模型实践解读
科技很有意思
10-12 644
2024云栖大会上重点讨论了云原生大规模集群的 GitOps 实践和大模型在大数据智能运维中的应用。
大数据学习路径：从Hadoop入门到HBase高级应用
大数据学习总结文档详细梳理了从入门到高级的大数据技术路径，旨在帮助读者掌握年薪30万级的技能。这份路线图涵盖了以下几个关键模块： 1. **Hadoop入门**：首先，你需要理解Hadoop的诞生背景，它在大数据和云计算...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值