hadoop专栏简介

最新推荐文章于 2023-08-25 08:46:22 发布
最新推荐文章于 2023-08-25 08:46:22 发布
阅读量260 收藏
点赞数
分类专栏： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/gFlyYoung/article/details/106816219
版权

hadoop（以下简称此专栏）专栏中介绍的是博主在学习Hadoop相关知识时，对Hadoop体系的一些归纳和触坑总结。
一家之言，抛砖引玉。对自己是个记录；要是能对诸位看官有所帮助，那也是极好的。

此专栏参考的书籍
《Hadoop权威指南（第四版）》
此专栏学习时的视频
马士兵教育–周志垒：Hadoop零基础入门到精通
b站中能找到 <🤫>

此专栏使用的hapoop版本是2.10.0

青草肥羊
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
大数据｜Hadoop系统
因为健忘，所以记点有的没的〒▽〒
02-28 4146
📚Hadoop介绍
1、hadoop3.1.4简单介绍及部署、简单验证
05-29
具体参见相关文章，具体在zookeeper专栏、环境配置。 本文分为三个部分介绍，即hadoop发展史、hadoop3.1.4部署及验证。 ———————————————— 版权声明：本文为CSDN博主「一瓢一瓢的饮 alanchan」的原创...
从零开始的Hadoop学习（二）| Hadoop介绍、优势、组成、HDFS架构
庭前云落的博客
08-25 1326
HDFS（Hadoop Distributed File System）的架构概述。NameNode（nn）：存储文件的元数据，如文件名，文件目录结构，文件属性（生成时间、副本数、文件权限），以及每个文件的块列表和块所在的DataNode等。DataNode（dn）：在本地文件系统存储文件块数据，以及块数据的校验和。Secondary NameNode(2nn)：用来监控HDFS状态的辅助后台程序，每隔一段时间获取HDFS元数据的快照。
管理Hadoop集群—— Hadoop权威指南16
lucyLee的博客
07-18 395
1. NameNode的目录结构 NameNode在内存中加载了文件系统元数据和block位置的映射关系 NameNode会永久性存储文件系统元数据，主要包括edits、fsimage、seen_txid NameNode的目录结构如图所示 VERSION： Java属性文件，包含namespaceID（文件系首次格式化使创建）、block池ID、storageType（值为NAME_NODE）等 edits： （1）编辑日志，对文件系统的操作（事务），先记录到edits文件中，同步更
hadoop简介
weixin_43930865的博客
01-16 4144
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。主要解决海量数据的存储和海量数据的分析计算问题并行计算的架构分而治之，先分后和。
Hadoop YARN（入门） —— Hadoop权威指南5
lucyLee的博客
04-18 1411
1. YARN概述 1.1 YARN在Hadoop生态圈中的定位 Hadoop 1.x，MR既要负责分布式计算，还需要负责计算过程中的资管管理和任务调度 Hadoop2.x，更新了Hadoop的架构，使用YARN（Yet Another Resource Negotiator，另一种资源判决者/调度者）进行专门的资源组管理和任务调度，而MR通过调用YRN的API实现分布式计算，减轻了MR的压力 同时，YARN还具备足够的通用性，除了能支持MR之外，它还能支持其他的分布式计算模式，如Spark、Tez等 可
大数据入门安装包Hadoop、JDK等
12-25
配套本专栏（https://blog.csdn.net/yellow_python/category_10582173.html）的大数据入门安装包
11、hadoop环境下的Sequence File的读写与合并
05-29
11、hadoop环境下的Sequence File的读写与合并 ...本文介绍hadoop环境下的Sequence File的读写与...本文依赖：hadoop环境可用，本示例是以hadoop的HA环境作为示例的，如果不是HA环境，参考本专栏的hdfs文件的常规操作。
AIGC专栏（一）AIGC概述_watermark.pdf
05-19
大数据（Big Data）是指规模庞大、复杂度高且难以用传统数据处理方法进行捕捉、管理和处理的数据集合。它通常具有以下三个特征： 数据量大：大数据指的是数据集的规模非常庞大，远远超出了传统数据处理工具的能力...
14、HDFS 透明加密KMS
05-29
14、HDFS 透明加密KMS 网址：...本文旨在简单介绍hdfs的透明加密作用及其使用。 前提依赖：hadoop环境部署好且可用。部署文章可参考本专栏相关文章。 本文分为2部分，即介绍和部署及使用。
大数据框架Hadoop篇之Hadoop入门
Miracle8070
12-18 2141
Hadoop是一个Apache基金会开发的分布式系统基础架构， 主要解决： 海量数据的存储和海量数据的分析计算问题
Hadoop 入门笔记
weixin_52457750的博客
11-06 660
Hadoop Distributed File System 简称HDFS，是一个分布式文件系统1）NameNode:存储文件的原数据，如文件名，目录结构，文件属性等（生成副本，副本数，文件权限等）以及每个文件的块列表和每个文件所在的Data Node等，2）Data Node :在本地系统存储文件块数据，以及块数据的效验和。3）Secondary NameNode：每隔一段时间对NameNode原数据备份。
hadoop 各种概念整理
热门推荐
master-dragon的专栏
11-07 4万+
http://hadoop.apache.org/ Hadoop Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。 HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data se...
Hadoop系列
u013132238的专栏
03-04 716
Hadoop环境搭建 Index of /cdh5/cdh/5 hadoop-2.6.0-cdh5.7.0.tar.gz hive-1.1.0-cdh5.7.0.tar.gz spark-2.1.1-bin-hadoop2.7.tgz 软件存放路径 hadoop/hadoop /home/hadoop software： 存放所有下载的软件包 ap...
hadoop基础(一）—初识hadoop
牧码心
02-05 455
haoop的起源 Hadoop是Apache软件基金会的顶级开源项目，是由原雅虎公司Doug Cutting根据Google发布的学术论文而创建的开源项目。Doug Cutting被称为Hadoop之父，他打造了目前在云计算和大数据领域里如日中天的Hadoop。 Hadoop的发音是[hædu:p]，Hadoop 这个名字不是一个缩写，而是一个虚构的名字。Doug Cutting解释
Hadoop使用
wsxqaz的专栏
03-13 641
http://www.cnblogs.com/skyme/archive/2011/10/26/2223984.html
hadoop快速自我学习--hadoop平台管理与维护
pafei的专栏
11-19 941
1，HDFS常用命令 hdfs dfs -mkdir /data hdfs dfs -put  localfile  hdfspath -rm   -du -h -chmod -chown  user:group  hdfspath -cat    -zcat -version hdfs dfsadmin -report  集群运行状态 -help   获取更多命令   ...
Hadoop专栏（八）——Yarn
斯特凡今天也很帅的博客
12-04 218
一、什么是Yarn？ Yarn(Yet Another Resource Negotiator) 是一个分布式资源管理系统，主要负责资源管理，任务的监控和调度分离 （1）通用的资源管理系统，可为不同的应用提供统一的资源管理和调度 （2）它的引用为集群在利用率、资源同一管理和数据共享等方面带来好处 在Hadoop2.x版本添加YARN 二、YARN的基本架构核心组件 1.yarn的架构是master/slaves的主从结构 master：ResourceManage——》全局资源管理器 负责集群全局统一的资
hadoop root
最新发布
10-01
hadoop root 是指在Hadoop集群中以root用户身份运行Hadoop服务。要配置hadoop root，可以按照以下步骤进行操作： 1. 首先，在Hadoop的core-site.xml配置文件中进行配置。可以通过以下命令打开core-site.xml文件进行...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值