Hadoop
文章平均质量分 81
本栏目旨在记录个人的理解,以及实战中出现的问题
程序员阿奇
专注于Java技术干货分享,大数据技术、运维技术的积累;
不积跬步,无以至千里;不积小流,无以成江海。
展开
-
大数据小白初探HDFS架构原理:带你揭秘背后的真相(一)
前面的文章写了一篇,大数据方面的基础知识,目的是希望大数据小白可以对大数据能有个清楚的认识,我们前面提到了大数据的本质,其实就是 分布式 系统,各种分布式的系统,相信读了上一篇文章后,能够对大数据清楚的认识,如果还没有读的,快去读一下吧。大数据小白初探HDFS从零到入门(一)好了,我们再回顾下HDFS的基本概念。HDFS(Hadoop Distributed File System)是 Hadoop 生态系统中的基础组件,它提供了分布式文件系统的实现,能够在廉价的机器上构建大规模、高容错性的分布式文件系统。原创 2024-01-22 23:11:03 · 1003 阅读 · 0 评论 -
小白初探架构模式—常用的设计模式
作为一个架构设计小白,我们通常用了很多种工具,比如 Mysql 、Redis、Kafka、 Hdfs、Hbase、MongoDB、RocketMQ等等,但是这些优秀工具,是如何设计的这么优秀?我们有的一知半解,有的甚至干脆不讲,只要能用就行。本文介绍了,主从架构的优缺点,应用场景,以及实现手段,让大家了解了主从架构是个什么东西。又分别介绍了平常我们在工作中和使用的中间件中所涉及到的几种设计模式,加深了对主从的设计思维的理解,希望我们能够在平常的工作中多多的体会这些设计模式思维,让我们变得更加的优秀。原创 2024-01-22 17:03:35 · 1254 阅读 · 0 评论 -
大数据小白初探HDFS从零到入门(一)
大数据的本质,就是分布式系统,分布式存储系统,分布式资源调度系统,分布式计算系统,分布式流式处理系统,分布式作业调度系统,分布式搜索引擎系统,分布式NOSQL数据库,分布式数据仓库,各种各样的分布式系统。 离线计算和实时计算的区别在于,离线计算都是计算处理T +1 的数据,而实时计算就是字面意思,实时的计算,可以随时查询最新的计算结果。可以看下图理解:支持超大数据集,流式数据处理,尽量移动计算,但不要移动数据,原创 2024-01-19 22:07:56 · 1203 阅读 · 1 评论 -
大数据小白初探Hbase从零到入门
今天把之前学习Hbase的入门基础知识笔记翻出来了,为了不忘记也是帮助身边的小伙伴,我把他又整理了下放了出来给大家,希望对HBASE一知半解的小伙伴,能够对Hbase有一个清晰的认识,好了废话不多说,进入正题。以上内容就是初的识HBase 入门知识,包含了hbase的由来,特性,物理存储,逻辑存储模型,以及优缺点,应用场景这些内容,相信后面在使用或更深入的研究Hbase打下了良好的基础,后面的更深入的学习内容,看计划安排在后面的文章中进行更新。原创 2024-01-17 23:21:37 · 1577 阅读 · 0 评论 -
[ERROR] Failed to execute goal com.diffplug.spotless:spotless-maven-plugin:2.27.2:check (default)
问题背景:dolphinscheduler 3.2.0-release版本。就可以了,然后再进行编译maven install 即可打包成功。这个是问题没有因为没有格式化代码,所以在校验的时候不通过。原创 2023-12-27 15:48:22 · 1011 阅读 · 2 评论