自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(507)
  • 收藏
  • 关注

原创 算法该不该刷?如何高效刷算法?

算法该不该刷?如何高效刷算法?

2023-01-31 16:05:00 23280 21

原创 蓝桥算法双周赛报名开始啦,学习算法技巧,助力蓝桥杯

蓝桥算法双周赛,学习算法技巧,助力蓝桥杯

2024-03-18 11:37:35 611

原创 Spark3的新特性

Spark3新特性

2024-01-23 14:29:51 1270

原创 精心整理了20道操作系统高频面试题(建议收藏)

动态链接就是在编译的时候不直接拷贝可执行代码,而是通过记录一系列符号和参数,在程序运行或加载时将这些信息传递给操作系统,操作系统负责将需要的动态库加载到内存中,然后程序在运行到指定的代码时,去共享执行内存中已经加载的动态库可执行代码,最终达到运行时连接的目的。3. 阻塞 —> 就绪:处于阻塞状态的进程,在其等待的事件已经发生,如输入/输出完成,资源得到满足或错误处理完毕时,处于等待状态的进程并不马上转入执行状态,而是先转入就绪状态,然后再由系统进程调度程序在适当的时候将该进程转为执行状态;

2023-11-07 16:13:36 313

原创 精心整理42道计算机网络高频面试题(建议收藏)

精心整理42道计算机网络高频面试题(建议收藏)

2023-11-07 16:12:08 2149

原创 Spark学习笔记:spark核心编程、RDD、SparkSQL、SparkStreaming

Spark笔记

2023-11-06 16:31:41 405

原创 项目实际场景中的SQL优化

项目实际场景中的SQL优化

2023-10-30 17:54:32 94

原创 数据库SQL调优的几种方式

数据库SQL调优

2023-10-30 17:51:36 90

原创 成为专家博主了!

成为专家博主了!

2023-09-16 21:43:52 178 2

原创 Java设计模式之创建型:工厂模式详解(简单工厂+工厂方法+抽象工厂)

工厂模式将目的将创建对象的具体过程屏蔽隔离起来,从而达到更高的灵活性,工厂模式可以分为三类:简单工厂模式(Simple Factory)工厂方法模式(Factory Method)抽象工厂模式(Abstract Factory)

2023-08-24 16:21:28 102

原创 OLAP和OLTP的区别,了解哪些OLAP工具

OLAP(联机分析处理): online analyti...

2023-06-05 14:54:00 290

原创 数仓的整体调度如何执行?

数仓的整体调度使用的是Azkaban工具来完成的。我们要先理清楚各层之间的流程以及各脚本之间的依赖关系,然后根据这个关系来编写Azkaban的工作流程配置文件。 配置文件包括两个,一个是以.project结尾的文件,这里面放版本...

2023-06-05 14:52:00 86

转载 【电商数仓】数仓调度之全流程调度(调度数据准备、Azkaban部署、创建数据库和表、Sqoop导出脚本、编写工作流程配置文件、一些注意事项)

【电商数仓】数仓调度之全流程调度(调度数据准备、Azkaban部署、创建数据库和表、Sqoop导出脚本、编写工作流程配置文件、一些注意事项)

2023-06-04 12:44:54 116

原创 数仓搭建各层实操思路【重要】

前期准备: 先搭建环境,Hive-on-Spark,要注意兼容问题,修改一下hive的...

2023-06-02 20:23:00 294

原创 数仓常用函数

1.get_json_object()函数 ...

2023-06-02 09:54:00 87

原创 维度表和事实表

维度...

2023-06-01 16:12:00 81

原创 拉链表、缓慢变化维

拉链表意义:以更加高效的方式去存储历史状态。...

2023-05-31 20:37:00 68

原创 DataGrip连接出错:Error: Could not open client transport with JDBC Uri: jdbc:hive2://hadoop102:10000

在DataGrip创建新的连接的时候,出现了连接不上的情况,然后就是一顿排查,把下面这个链接里的方法都试了一遍之后,还是不行。然后就抱着试一试的态度,执行了第9点,关闭所有进程,重启集群和进程。

2023-05-30 21:23:55 635

原创 数据同步策略(全量、增量、新增及变化、特殊同步策略)

(MySQL中的业务数据通过sqoop同步到HDFS上,HDFS再同步到ODS层。) ...

2023-05-30 15:19:00 333

原创 如何保证数据质量【重点】

数据质量管理: 数据质量问题指的是数据从产生到消亡这一过程中,可能会产生一系列的数据质量问题,这些问题包括数据的空值、超过极限范围、重复的数据等。数据质量...

2023-05-30 15:09:00 323

原创 星型模型和雪花模型的区别,如何选择?【重点】

一、...

2023-05-30 12:23:00 329

原创 范式建模和维度建模相关问题【重点】

一、...

2023-05-30 12:19:00 616

原创 数仓建模的全过程【重点】

数仓从前到后分为ODS原始数据层、DWD明细数据层、DIM维度层、DWS服务数据层、DWT数据主题层、ADS数据应用层。 ...

2023-05-30 12:07:00 298

原创 简述CAP定理【重要】

CAP定理示意图: ...

2023-05-25 21:37:00 44

原创 ZooKeeper如何保证数据的一致性?【重要】

保证数据的一致性有两种情况, 一种是重新选取出新leader后的数据同步 , 还有一种是leader处理完事务请求后...

2023-05-25 21:35:00 175

原创 简述ZAB协议(zookeeper Atomic Broadcast )【重要】

首先zookeeper的核心是原子广播,这个机制保证了各个server之间的同步,而实现这个机制的协议叫做ZAB协议。 ZAB协议是为zookeeper专...

2023-05-25 21:32:00 41

原创 简述ZK选举leader的算法【重要】

简述ZK的fastleaderelection选举leader的算法(ZK选举Leader的过程)_Java大数据运动猿的博客-CSDN博客 ...

2023-05-25 21:27:00 32

原创 简述Paxos算法【重要】

简述Paxos算法_Java大数据运动猿的博客-CSDN博客

2023-05-25 21:26:00 37

原创 简述Zookeeper【重要】

Zookeeper为分布式应用提供了一个高效可靠的分布式协调服务,提供了诸如统一命名服务、配置管理和分布式锁等分布式的基础服务。 它的实现是依赖于ZAB协议,实现了一种主备模式(master-slave)的架构来保持集群中...

2023-05-25 21:15:00 31

原创 Zookeeper的读写机制、保证机制、Watcher(数据变更的通知)

一、Zookeeper读写机制 非事务请求为读,事务请求为写。 ...

2023-05-25 21:12:00 110

原创 如何保证RabbitMQ消费者端在更新数据库时可以成功

在RabbitMQ消费者端更新数据库时,需要考虑到以下几个方面,来保证更新成功: 1.使用事务进行处理来保证: ...

2023-05-25 20:51:00 124

原创 数仓分层架构,分层目的【重要】

一、数仓分层架构: ...

2023-05-25 11:02:00 385

原创 什么是数据仓库

数据仓库(Data WareHouse)是面向主题的、集成的、相对稳定的、反应历史变化的数据集合,它可为企业制定决策、提供数据支持,帮助企业改进业务流程、提高产品质量等。 ...

2023-05-25 10:12:00 76

原创 商品存入数据库怎么保证数据库的数据安全

...

2023-05-25 00:17:00 54

原创 如何做到cookie同步,使得在另外一台电脑上可以看到购物车信息?

不同步的原因: 仅仅把购物车的商品写入cookie中,这样服务端基本没有存储的压力,但是弊端就是用户更换电脑后购物车的信息不能同步。 ...

2023-05-24 22:04:00 122

原创 设计MQ的思路

设计一个消息队列应该从以下4个角度考虑: 1.可伸缩性: ...

2023-05-24 21:22:00 37

原创 如何解决消息队列的延时以及过期失效问题?消息队列满了以后怎么处理?

一、如何解决消息队列的延时以及过期失效问题? MQ中消息失效问题原因: ...

2023-05-24 20:59:00 804

原创 有几百万消息持续积压几小时,怎么解决

消息积压处理方法:紧急临时扩容 处理原理: 先...

2023-05-24 20:36:00 76

原创 SparkStreaming整合Kafka

一、Spark Streaming消费Kafka的两种方式比较 ...

2023-05-16 17:13:00 68

原创 SparkStreaming里的数据怎么处理的?

SparkStreaming用于流式数据的处理,是一个准实时(延迟:秒,...

2023-05-15 18:07:00 36

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除