Hadoop入门笔记

最新推荐文章于 2024-04-22 20:26:11 发布
最新推荐文章于 2024-04-22 20:26:11 发布
阅读量85 收藏 1
点赞数
分类专栏： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lyz5923302/article/details/86597404
版权

Hadoop基础

Hadoop= HDFS+MapReduce

  • HDFS:分布存储
  • MapReduce：分布计算

HDFS

基本架构: 数据块 NameNode DataNode
NameNode：所有数据块的存储位置信息
DataNode：存放数据块
数据块:Hadoop中数据的存储单元
在这里插入图片描述

DataNode-2，-3均为-1的备份 备份二次
**流程**
  1. 客户端向NameNode发送写请求
  2. NameNode询问DataNode相关的存储信息并与块大小信息一起返回给Client
  3. Client同通过2.返回的信息将数据分块并向DataNode指定位置写入数据
  4. DataNode自动完成两次备份
  5. DataNode向NameNode发送信息，更新NameNode里的数据
  6. NameNode通知Client已经存储完成（后面的分块从2开始）

在这里插入图片描述
流程

  1. 客户端向NameNode发送读请求
  2. NameNode返回Client要求的数据块的位置信息
  3. Client同通过2.返回的信息访问DataNode相关节点
  4. DataNode向Client传输信息
lyz5923302
关注
专栏目录
Hadoop 入门笔记—核心组件 YARN
weixin_44433834的博客
11-22 698
作者：幻好 来源：恒生LIGHT云社区 基本概述 Apache YARN (Yet Another Resource Negotiator) 是 Hadoop 中的资源管理和作业调度系统， 在 Hadoop 2.x 时才被引入。 用户可以将各种服务框架部署在 YARN 上，由 YARN 进行统一地管理和资源分配。 Yarn在 Hadoop2.x 时才被推出，在 Hadoop1.x 时，主要由 MapReduce 进行资源分配，由于考虑到如果 MapReduce 在计算中挂掉了，那么资源调度也将停止工作.
Hadoop 入门笔记—核心组件 MapRuduce
weixin_44433834的博客
11-19 978
作者：幻好 来源：恒生LIGHT云社区 基本概念 MapReduce 是一个分布式运算程序的编程框架，通过它能将用户将编写好的程序提交，并发运行在一个 Hadoop 集群上。 MapReduce 核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序。 MapReduce 是一个编程模型，分为两个阶段：Map 和 Reduce。输入的数据会先分块，然后由 Map 进行处理，最后输出到 Reduce 中。 可以将它理解成对数据整理，然后归纳的一个过程。 核心算法 MapRed.
Hadoop 入门笔记
weixin_52457750的博客
11-06 1377
Hadoop Distributed File System 简称HDFS，是一个分布式文件系统1）NameNode:存储文件的原数据，如文件名，目录结构，文件属性等（生成副本，副本数，文件权限等）以及每个文件的块列表和每个文件所在的Data Node等，2）Data Node :在本地系统存储文件块数据，以及块数据的效验和。3）Secondary NameNode：每隔一段时间对NameNode原数据备份。
黑马程序员——Hadoop入门笔记（第一天）
MH031119的博客
04-22 397
所谓集群是指一组独立的计算机系统构成的一多处理器系统，它们之间通过网络实现进程间的通信，让若干台计算机联合起来工作(服务)，可以是并行的，也可以是做备份。大数据的核心工作其实就是：经过数据存储，数据计算，数据传输，从海量的高增长、多类别、低信息密度的数据中挖掘出高质量的结果。数据计算核心模块：ResourceManager：接收用户的计算请求任务，并负责集群的资源分配。HDFS模块：NameNode：集群当中的主节点，主要用于管理集群当中的各种数据。大数据框架，大多数的基础架构上，都是符合：中心化模式的。
hadoop入门笔记
weixin_52467050的博客
11-10 169
hadoop入门
[学习笔记]黑马程序员-Hadoop入门视频教程
热门推荐
zhangyifeng_1995的博客
02-03 1万+
[学习笔记]黑马程序员-Hadoop入门视频教程
Hadoop入门
weixin_44966780的博客
12-01 708
Hadoop入门笔记 Hadoop 优势（4 高） 1)高靠性: Hadoop底层维护多个数据副本，所以即使Hadoop某个计算元素或存储出现故障，也不会导致数据的丢失。 2)高扩展性:在集群间分配任务数据，可方便的扩展数以千计的节点。 3)高效性:在MapReduce的思想下，Hadoop 是并行工作的，以加快任务处理速度。 4)高容错性:能够自动将失败的任务重新分配。 Hadoop组成（面试重点） HDFS架构概述 Hadoop Distributed File System，简称 HDFS，是一个分
Hadoop学习笔记
NotLency的博客
08-22 1918
Hadoop学习简介前言：大数据的概念一、Hadoop入门1.概念1.1 Hadoop是什么？1.2 Hadoop发展历史1.3 Hadoop三大发行版本1.4Hadoop的优势1.5Hadoop的组成1.5.1 HDFS架构概述1.5.2 YARN架构概述1.5.3 MapReduce架构概述1.5.4 HDFS、YARN、MapRecduce三者间的关系1.6大数据技术生态体系1.7推荐系统案例2. 环境准备2.1模板虚拟机的准备2.2克隆2.3安装JDK以及Hadoop3.Hadoop生产集群搭建3.
Hadoop入门（黑马程序员学习笔记）
evangelion_Asuka的博客
09-22 178
VMware Workstation是一款虚拟机软件，允许用户将Linux、windows等多个操作系统作为虚拟机在单台pc上运行。
Hadoop的xmind的入门笔记
12-26
【Hadoop的xmind入门笔记概述】 Hadoop是Apache软件基金会开发的一个开源分布式计算框架，主要处理和存储大规模数据。这个“Hadoop的xmind入门笔记”系列涵盖了从基础概念到高级应用的全面学习路径，旨在帮助初学者...
基于JavaScript和微信小程序的安心食疗小程序设计源码
09-23
该项目是基于JavaScript和微信小程序的安心食疗小程序设计源码，包含99个文件，其中17个JavaScript源文件、12个WXML页面布局文件、13个WXSS样式表文件、17个JSON配置文件、24个PNG图片文件和16个JPG图片文件。适用于健康饮食领域的小程序开发。
计算机四级网络选择题目
09-23
题目有些标的答案，有些没有，大部分是用通义千问参考加答的，不保证全部正确。
ASP源码：大家帮网精品装修招标门户网站程序网站源码，网站系统模板源码73.rar
最新发布
09-23
项目工程资源经过严格测试可直接运行成功且功能正常的情况才上传，可轻松copy复刻，拿到资料包后可轻松复现出一样的项目，本人系统开发经验充足（随意编程），有任何使用问题欢迎随时与我联系，我会及时为您解惑，提供帮助 【资源内容】：项目具体内容可查看/点击本页面下方的*资源详情*，包含完整源码+工程文件+说明（若有）等。【若无VIP，此资源可私信获取】 【本人专注IT领域】：有任何使用问题欢迎随时与我联系，我会及时解答，第一时间为您提供帮助 【附带帮助】：若还需要相关开发工具、学习资料等，我会提供帮助，提供资料，鼓励学习进步 【适合场景】：相关项目设计中，皆可应用在项目开发、毕业设计、课程设计、期末/期中/大作业、工程实训、大创等学科竞赛比赛、初期项目立项、学习/练手等方面中 可借鉴此优质项目实现复刻，也可基于此项目来扩展开发出更多功能 #注 1. 本资源仅用于开源学习和技术交流。不可商用等，一切后果由使用者承担 2. 部分字体及插图等来自网络，若是侵权请联系删除，本人不对所涉及的版权问题或内容负法律责任。收取的费用仅用于整理和收集资料耗费时间的酬劳 3. 积分资源不提供使用问题指导/解答
vue3+springboot私家车位共享系统微信微信小程序[编号：CS_41791](1)源码数据库.zip
09-23
本文介绍了使用SpringBoot作为后端框架，Vue作为前端框架，MyBatis-Plus进行持久层开 。详细描述了系统测试的目的、功能测试案例，包括登录验证和用户管理，以及数据库设计。 前端：vue3 开发工具：IDEA 或者eclipse都支持 编程语言: java 框架：springboot/ssm都支持 jdk版本:jdk1.8以上均可 数据库: mysql 版本不限 数据库工具：Navicat/SQLyog都可以
基于C#的.NET通用后台角色权限管理系统设计源码
09-23
该项目是基于C#的.NET通用后台角色权限管理系统设计源码，包含337个文件，其中包括112个C#源文件、76个GIF图片文件、40个JavaScript脚本文件、33个Razor视图文件（.cshtml）、23个CSS样式表文件、15个配置文件（.config）、9个项目文件（.csproj）、4个TrueType字体文件（.ttf）、3个Embedded OpenType字体文件（.eot）、3个SVG矢量图形文件。该系统旨在为.NET平台提供灵活的角色权限管理解决方案。
复件 user_data3.es3
09-23
复件 user_data3.es3
【SCI2区】基于matlab VMD-斑点鬣狗算法SHO-LSTM光伏预测【含Matlab源码 7649期】.zip
09-23
CSDN海神之光上传的全部代码均可运行，亲测可用，直接替换数据即可，适合小白； 1、代码压缩包内容 主函数：Main.m； 调用函数：其他m文件；无需运行 运行结果效果图； 2、代码运行版本 Matlab 2023b；若运行有误，根据提示修改；若不会，可私信博主； 3、运行操作步骤 步骤一：将所有文件放到Matlab的当前文件夹中； 步骤二：双击打开除Main.m的其他m文件； 步骤三：点击运行，等程序运行完得到结果； 4、仿真咨询 如需其他服务，可私信博主或扫描博主博客文章底部QQ名片； 4.1 CSDN博客或资源的完整代码提供 4.2 期刊或参考文献复现 4.3 Matlab程序定制 4.4 科研合作 VMD-智能优化算法优化LSTM回归预测系列程序定制或科研合作方向： 4.4.1 VMD-遗传算法GA/蚁群算法ACO优化LSTM回归预测 4.4.2 VMD-粒子群算法PSO/蛙跳算法SFLA优化LSTM回归预测 4.4.3 灰狼算法GWO/狼群算法WPA优化LSTM回归预测 4.4.4 VMD-鲸鱼算法WOA/麻雀算法SSA优化LSTM回归预测 4.4.5 VMD-萤火虫算法FA/差分算法DE优化LSTM回归预测 4.4.6 VMD-其他优化算法优化LSTM回归预测
大数据Hadoop学习笔记深度解析与就业指南
1. **HADOOP入门** 部分首先介绍了大数据课程的基本内容，包括课程概述、学习建议、就业前景和Hadoop的发展规划。接着详细讲解了Hadoop的背景，阐述其在实际应用中的广泛场景，如大数据处理、分布式存储等。随后，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值