大数据与HDFS学习笔记

最新推荐文章于 2024-03-07 14:44:40 发布
最新推荐文章于 2024-03-07 14:44:40 发布
阅读量110 收藏
点赞数
分类专栏： 存储知识
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Hahafly1234/article/details/118030827
版权

GFS 论文  -- > HDFS

MapReduce论文  -- >  MapReduce

BigTable 论文  -- >  HBase

Hadoop

    基于hadoop的生态圈

    Hbase

    Hive

       hql

Spark

     类似于spring

     sparksql

学习流程

      Linux 

      Nginx

      HDFS 

      MapReduce

      Hbase  数据库

      Hive 学了这个就不用写mapreduce了

HDFS： https://www.bilibili.com/video/BV1154y1U73k?p=2&spm_id_from=pageDriver

适用场景， 大文件，一次写多次读

不适用，低时延，多写，多小文件

第二个存本机架，第三副本另一个机架

6. 高级特性

   1）文件数配额 和大小配额

   2）安全模式

 

7. 基准测试

   

      

Hahafly1234
关注
专栏目录
【林子雨大数据】HDFS学习笔记
GreyPei的博客
09-12 3455
*解决海量式的分布式存储 一、分布式文件系统 1，计算机集群结构 【交换机】：光纤交换机 2.分布式文件系统的结构 主节点：名称节点 从节点：数据节点 二、HDFS 目标： 兼容廉价的硬件设备 流数据读写 大数据集 简单的文件模型 强大的跨平台兼容性 局限性： 不适合低延迟数据访问（实时处理需求） 无法高效存储大量小文件 不支持多用户写入及任意修改文件【为了...
HDFS学习笔记
TTDZS的博客
08-22 401
HDFS学习笔记
【Hadoop大数据技术】——HDFS分布式文件系统（学习笔记）
最新发布
HinsCoder的博客
03-07 3418
在NameNode内部是以元数据的形式，维护着两个文件，分别是FsImage镜像文件和EditLog日志文件。其中，FsImage镜像文件用于存储整个文件系统命名空间的信息，EditLog日志文件用于持久化记录文件系统元数据发生的变化。当NameNode启动的时候，FsImage镜像文件就会被加载到内存中，然后对内存里的数据执行记录的操作，以确保内存所保留的数据处于最新的状态，这样就加快了元数据的读取和更新操作。。
【大数据】HDFS的使用与集群角色（学习笔记）
wmh的博客
10-13 182
命令行界面（CLI）是指用户通过键盘输入指令，计算机接收到指令后，予以执行一种人际交互方式。Hadoop提供了文件系统的shell命令行客户端。
大数据开发学习笔记
qq_51065387的博客
02-12 1177
大数据开发有两种 ， 一种需要编写Spark、Hadoop的应用程序 ， 另一种需要开发大数据处理系统本身 。 大数据开发工程师的职责是负责公司大数据平台的开发和维护、网络日志大数据分析、实时计算和流式计算等技术的研发和网络安全业务主题建模等工作 。
大数据学习笔记-HDFS（五）——数据安全与隐私保护
zhang_232的专栏
11-28 1021
数据安全与隐私是数据管理的重要方面。
大数据学习笔记-HDFS（三）——集群管理运维
zhang_232的专栏
11-26 1684
目录 1、HDFS数据迁移解决方案1.1 迁移方案 ——数据迁移的使用场景和考量因素1.2分布式拷贝工具： DistCp的使用2、HDFS NameNode安全模式3、HDFS高阶优化方案3.1短路本地读取short circuit local reads3.2负载均衡、磁盘均衡器、纠删码存储4、HDFS动态节点管理4.1 俗称动态扩容、节点服役 4.2 节点下线、5、HDFS HA（高可用）机制5.1 HA引入 5.2 HA系统的核心问题
大数据开发学习笔记汇总篇
WHY的博客
11-15 375
本文介绍了大数据开发各个框架的学习笔记，包括Hadoop、spark、kafka、clickhouse、hbase、hive、flink、airflow、zookeeper、flume等，未完待续
HDFS的学习笔记
weixin_45866849的博客
03-01 592
HDFS的学习笔记 HDFS是Google公司的 GFS 论文思想的实现，它有NameNode(名称节点)、DataNode(数据节点)、SecondaryNameNode(第二名称节点)组成。 GFS 是一个可扩展的分布式文件系统的设计思想，用于设计针对大型的、分布式的、对大量数据进行访问的文件系统。 1. HDFS简介 1.1 HDFS 概述 HDFS是基于流数据访问模式的分布式文件系统，其设计建立在："一次写入，多次读取"的基础上，提供高吞吐量、高容错性的数据访问，能很好地解决海量数据的存储问题
大数据技术原理学习笔记.docx
11-06
本笔记基于林子雨老师在MOOC上的《大数据技术原理》课程，旨在为IT从业者和大学生提供一个全面了解大数据的基础框架。 首先，我们要认识到大数据的发展背景。随着互联网的普及，以及物联网、社交媒体、移动设备等...
尚硅谷大数据技术hive学习笔记
10-27
"尚硅谷大数据技术hive学习笔记" Hive 是一个基于 Hadoop 的数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类 SQL 查询功能。 Hive 的核心是将 HQL 转化成 MapReduce 程序，通过 SQL 语言中常用的操作...
大数据服务框架学习笔记.zip
03-06
"大数据服务框架学习笔记.zip"很可能是包含一系列关于大数据服务框架的学习资料，如Hadoop、Spark、Flink等主流框架的讲解。下面，我们将深入探讨这些关键组件和框架。 首先，Hadoop是大数据处理的基础框架，由...
大数据学习笔记.docx
11-09
本笔记将深入探讨大数据的基本概念，包括Hadoop、Hive、离线计算、实时计算、数据库、数据仓库、维度建模以及大规模并行处理MPP，还将介绍阿里云的一些大数据产品，如MaxCompute、DataWorks、数据集成、机器学习PAI...
大数据技术学习笔记1
08-03
大数据技术学习笔记1 大数据技术学习笔记1 是一份关于大数据技术的学习笔记，涵盖了大数据技术的基本概念、Hadoop 生态系统、MapReduce 算法、Spark 框架、分布式计算平台等多个方面。 Hadoop 生态系统 Hadoop 是...
DAOS 系统内部介绍(一）—— 概述
Hahafly1234的博客
07-29 4153
从RPM安装DAOS时，daos_admin helper将自动安装到具有正确权限的正确位置。RPM创建一个“daos_server”系统组，并配置权限，使得daos_admin只能从daos_server调用。 对于非RPM安装，有两种受支持的方案： a.daos_server作为root运行，这意味着daos_admin也作为root调用，因此不需要额外的设置。 b.daos\u服务器作为非根用户运行，这意味着必须手动安装和配置daos_admin。 启用第二个场景的步骤如下所示（假设步骤将在.
DAOS 系统内部介绍(二）—— VOS
Hahafly1234的博客
08-01 3291
Versioning Object Store The Versioning Object Store (VOS) is responsible for providing and maintaining a persistent object store that supports byte-granular access and versioning for a single shard in aDAOS pool. It maintains its metadata in persistent m.
Intel DAOS
Hahafly1234的博客
07-06 485
https://zhuanlan.zhihu.com/p/385625667
ceph admin socket机制
Hahafly1234的博客
07-11 485
http://blog.chinaunix.net/uid-24774106-id-5059727.html
logclient
Hahafly1234的博客
07-11 349
https://www.jianshu.com/p/fc64271c36c2
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值