- 博客(562)
- 收藏
- 关注
RSS订阅
原创 Redisson 实现消息队列、延迟队列 (生产可用)
之前使用redis实现了消息队列，但是没有延迟消费的功能，现在编写一个可以实现延迟消费的功能，同时也能满足及时消费，只需要将延迟时间设置0就行了，用到了Redission，不需要基于stream进行一些复杂配置。参考文章【redis缓存】怎么使用 Redis 实现一个延时队列？_redis实现延时队列-CSDN博客Redisson 的延迟队列真的能用吗？一文看透原理 + 坑点_redission延时队列原理-CSDN博客。
2025-08-30 12:10:38
1017
1
原创 可视化工具 — DataGear
在大数据领域，如果想做可视化，工具特别多：FineBI（帆软的）、SmartBI、达芬奇 、QuickBI 、PowerBI 等。
2026-10-21 11:24:17
212
原创 装机配件品牌参考
显示器: HKC、LG、三星、AOC。硬盘: 三星、西数、铠侠、长江存储。显卡: 华硕、微星、技嘉、七彩虹。内存: 三星、SK海力士、美光。主板: 华硕、微星、技嘉。
2026-10-18 09:57:26
98
原创 笔记本验机流程参考
参考视频:【联想拯救者Y7000P U7-255HX 5060 碳晶黑 开箱验机教程插上电源，开机，跳过联网（联网后会自动激活，激活后不支持7天无理由退款）来到联网界面，按住shift + f10 输入命令 oobe\bypassnro 之后电脑重启，再次来到这个界面就可以看到暂时跳过检查外包装 、笔记本电脑后壳、笔记本里面的SN码是否一致显示无法连接，则正常进入cmd输入命令slmgr.vbs -xpr，如果显示window处于通知模式，则证明没有被激活。
2026-10-18 09:27:20
215
原创 任务调度工具 — dolphinScheduler
DolphinScheduler是2019年中国易观公司开源的一个调度系统。Apache DolphinScheduler是一个分布式、易扩展的可视化DAG工作流任务调度平台。致力于解决数据处理流程中错综复杂的，使调度系统在数据处理流程中开箱即用（
2026-10-07 15:46:40
245
原创 数据仓库的介绍
将各个业务系统数据库中的数据，抽取到一个大的数据库(数据仓库)，相当于可以将各个业务系统的数据整合到一起，然后对其中的数据进行加工分析处理，也方便后续关联查询。例如：如果有的业务需要查询两个不同的业务库，没有数据仓库这个中转站，是办不到的。
2026-10-06 16:14:16
202
原创 帆软看板 - 问题收集
写法二：用 row_number() over() 生成稳定序号。可以用 row_number() over()解决。写法一：直连模式下 ORDER BY 失效。
2026-09-29 18:41:42
239
原创 数据仓库的开发
将各个业务系统数据库中的数据，抽取到一个大的数据库(数据仓库)，相当于可以将各个业务系统的数据整合到一起，然后对其中的数据进行加工分析处理，也方便后续关联查询。例如：如果有的业务需要查询两个不同的业务库，没有数据仓库这个中转站，是办不到的。
2026-09-15 11:18:55
411
原创 Hive3.1.3 安装使用
我们之前安装了Hive4.0，但是Spark使用的是3.5.9，和Hive4.0.1不太兼容，所以现在安装Hive3.1.3稳定版。
2026-09-12 16:06:56
256
原创 Python 安装使用
Python⽬前有两个版本，Python2和Python3，Python已经全⾯步⼊3的时代，Python2已经停⽌维护了。因此我们在学习的时候，直接以Python3来学习。⽬前最新的版本为Python3.12，但是这个版本⽬前市场的兼容性有点问题，⼀些三⽅库还未适配到，会导致后续学习的时候出现问题。因此我们依然使⽤的Python3.10的版本。Python语言学习完之后的一个应用：1、爬虫（比较擅长）2、Python Web（可以做网站应用），但是量很小php--> 快速建站。
2026-09-10 21:43:33
103
原创 Spark 安装和使用
Hive: 认为有两部分组成，第一部分 hiveSQL 第二部分： hive 做存储。第四代计算引擎：Flink：实时流式计算引擎 , 国内目前最主流实时计算引擎。第三代计算引擎：Spark：优先使用内存式计算引擎 ，国内目前主要应用的。第一代计算引擎：MapReduce：用廉价机器实现分布式大数据处理。第二代计算引擎：Tez：基于MR优化了DAG，性能比MR快一些。计算引擎：你的车的发动机 、计算机中的 CPU。
2026-09-06 19:46:42
311
原创 ETL工具 — DataX的使用
可以理解为国内版的Sqoop。但是比Sqoop要快，Sqoop底层是MR(Map任务），基于磁盘的，DataX基于内存的，所以速度比较快。DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括 MySQL、SQL Server、Oracle、PostgreSQL、HDFS、Hive、HBase、OTS、ODPS 等各种异构数据源之间高效的数据同步功能。关系型数据库的数据都是结构化的，排列非常整齐非关系型数据库都是非结构化的，非常的错乱。（异构）
2026-09-04 12:56:45
245
原创 Hive 自定义函数
hive的内置函数满足不了所有的业务需求。hive提供很多的模块可以自定义功能，比如：自定义函数、serde、输入输出格式等。而自定义函数可以分为以下三类：user defined function：用户自定义函数，一对一的输入输出（最常用的）。比如abs()UDAF:user defined aggregation function：用户自定义聚合函数，多对一的输入输出,比如：count sum max。
2026-09-04 10:33:43
246
原创 Hive 高级函数
来一个需求：求每个部门的员工信息以及部门的平均工资。在mysql中如何实现呢。以后看见这种既要明细信息，也要聚合信息的题目，直接开窗！姓名,购买日期,购买数量。
2026-08-30 20:41:18
90
原创 Hive 基础函数
/获取'017/1/21的时间戳。-- 当前系统时间戳：格式:"yyyy-MM-dd HH:mm:ss.ms"select unix_timestamp();//获取当前的时间戳。--当前系统时间戳 格式：距离1970年1月1日0点的秒数。-- 当前系统日期 格式："yyyy-MM-dd"
2026-08-30 11:22:52
293
原创 Hive 分区的使用
为了提高sql的查询效率比如：假如数据量比较大，这个sql就是全表扫描，速度肯定慢。可以将数据按照天进行分区，一个分区就是一个文件夹，当你查询20230826的时候只需要去20230826这个文件夹中取数据即可，不需要全表扫描，提高了查询效率。总结几点：1）分区表实际上就是对应一个HDFS文件系统上的独立的文件夹。2）该文件夹下是该分区所有的数据文件。3）Hive中的分区就是分目录，把一个大的数据集根据业务需要分割成小的数据集。
2026-08-28 22:52:37
362
原创 Hive 内部表和外部表
创建的时候需要加关键字external 修饰，而且，外部表它的数据的存储位置可以不在/user/hive/warehouse，可以指定位置。假如一个人，将数据上传至hdfs，这个数据量很大，一般不挪动位置，你可以建一个外部表数据的位置指向hdfs的某个文件夹，然后就可以分析了。建一个外部表，指向/home/a.txt , 分析完毕之后，删除表就可以了，干嘛要删除数据，没必要。最大的区别就是删除表的时候，内部表会删除元数据和真正的hdfs上的数据。Hive是一个数据分析的工具，存储数据不是它的本意。
2026-08-24 17:36:44
178
原创 Hive 基础使用
hive默认元数据是放在mysql数据库中的，但是mysql数据库在刚开始的时候是不支持中文的，hive的元数据的数据库名字叫hive,创建该数据库的时候使用的字符集是latin 字符，不支持中文。create database if not exists db02 comment "大数据"1. hive的数据库名、表名都不区分大小写。而且在mysql的元数据库，可以查看数据。--判断数据库并在创建数据库时添加注释。--先判断数据库是否存在再创建。2. 建议关键字大写。2. 不能使用关键字。
2026-08-23 11:22:45
304
原创 Hive4.0.1 安装使用
Hive 是一个框架，可以通过编写sql的方式，自动的编译为MR任务的一个工具。在这个世界上，会写SQL的人远远大于会写java代码的人，所以假如可以将MR通过sql实现，这个将是一个巨大的市场，FaceBook就这么干。（脸书）FaceBook --> Meta (元宇宙) --> 社交网站（校内网）在大数据中，发展趋势：所有的技术全部都变为SQL。1、Hive是一个数据仓库工具2、可以将数据加载到表中，编写sql进行分析。
2026-08-09 21:07:46
346
原创 Hadoop之Yarn
Hadoop三大件：HDFS、MapReduce、Yarn大数据存储底座，所有框架（MR/Spark/Flink/Hive/HBase）的数据最终都存在 HDFS 上，是整个集群的存储基石。统一的集群资源调度平台，MapReduce、Spark、Flink 这些计算框架，由 YARN 统一分配 CPU、内存、容器资源，这就是 YARN 最核心的作用，图里的从属关系画得很准。
2026-08-09 14:45:36
346
原创 Hadoop之MapReduce
多个应用程序之间有依赖关系，后一个程序需要依赖前面的程序的结果。时至今日，MapReduce是Apache Hadoop的核心模块之一，是运行在HDFS上的。如果负责计算的电脑挂掉了，可以将任务转移到其他电脑上，任务不会执行失败的。代码写起来有固定的格式，编写难度非常的小，号称是八股文【固定写法】。计算的时候，使用的资源如何协调（Windows操作系统）数据因为都是静态的，不是边产生数据，边计算。固定计算：数据量是固定的，给了1T 就计算。，用于大规模数据集（大于1TB）的。解决的是分布式存储的问题。
2026-08-02 14:19:54
420
原创 Hadoop之HDFS
Hadoop 分为三部分 ： HDFS 、Yarn、MapReduce(有点过时了)Hadoop生态圈：除了hadoop技术以外，还有hive、zookeeper、flume、sqoop、datax、azkaban,ds ，kettle 等一系列技术。Hadoop的三个版本：Apache 版本（开源版本） 3.3.6 非常的新了Cloudera 版本--商⽤版（道格·卡丁） CDHHortonworks --hadoop的代码贡献者在这家公司非常的多。
2026-07-31 22:26:11
257
原创 Shell高级编程
Shell Script 是一个脚本语言，跟java、php、python、scala一样，都有变量、方法、循环、数组，IO流都有。解释器中比较有名的是Bash,简单易用，免费，经常使用这个，Bash也是大多数Linux厂商使用的解释器。Linux中有多个shell解释器（类似于java JRE），可以通过一些命令查看有哪些解释器。Shell编程，编写Shell脚本，并且该脚本可以运行，一般用于Linux运维（云计算）Shell是一个用C语言编写的程序，可以通过shell进行操作系统的服务。
2026-07-20 11:28:27
232
原创 Linux的两种软件安装方式
使用yum命令进行软件安装是linux安装文件的一个重要部分。它相当于360的自动安装，自动装到默认盘符。发现net-tools.x86_64 软件中包含了这个命令，所以应该安装这个软件才对。，因为它是先将rpm 安装包下载下来之后，又使用命令给你安装了一遍而已。由于yum默认地址是国外的，下载速度受限，所以我们配置国内的yum源。yum源安装软件的时候，如果一个软件依赖于另一个软件，都会一并安装。查看某个命令是哪个安装包下的命令。yum源安装本质上也是。
2026-07-20 08:44:29
270
原创 帆软看板 - 功能记录
2、选择样式，设置大小为97，这样可以撑满整个组件。3、然后设置标签值，这样在右侧就能显示数值。将数据拖入到文本，设置好样式，左居中。设置超链接，选择跳转的路径。1、设置好指标值和目标值。图片尺寸,选择适应组件。
2026-07-17 11:19:52
367
原创 Linux的基本操作
Linux 只是维护了一个内核而已，别的厂商在这个内核的基础之上，再封装，变为CentOS 、 Ubutun、Red Hat。类似于Android ，国内的 MIUI , OPPO，Vivo 其他厂商，在android 的基础上做的好看一点卖钱。只要 前面开头是 / 就一定是绝对路径了，只要不带，就是相对（相对于当前文件夹）help命令查看某个命令的帮助文档，有些命令可以查看，有些命令查看不了。二、帮助命令（了解一下，因为都是英文的，可以简单看看）linux没有盘符，通体只有一个盘符，根路径是/
2026-07-15 21:56:21
213
原创 帆软看板 - 样式规范参考
浅蓝色：#81baff 紫色：#9d93fc 橙色：#ffab48 深蓝色：#408bfc 等。①浅背景：#edf4ff 渐变：#bcd6fe #edf4ff 蓝色字：#0270c1。②浅背景：#f8ece6 渐变：#f9d5bd #f8ece6 橙色字：#fe8126。③浅背景：#e1e3fa 渐变：#cac8fb #e1e3fa 紫色字：#7567ff。
2026-07-06 11:28:45
332
原创 帆软填报 - 如何保存数据字典，将显示值和实际值都保存
这里之所以引入主键，是因为修改部门后再次提交，可以根据主键ID判断，如存在则进行修改操作。
2026-07-06 09:51:04
221
原创 Docker在线安装 - Ubuntu 24.04.4（阿里云镜像源）
我们需要添加 Docker 官方的 GPG 密钥（用于验证软件包）并设置 APT 软件源。打印出 Hello from Docker!
2026-06-27 21:20:57
224
原创 VM17安装Ubuntu24.04.4教程
这里，点击下拉框后选择 Ubuntu64位：（从我提供的镜像地址下载的镜像是Ubuntu64位，你们根据自己的镜像选择对应的版本）这里需要给虚拟机取个名字，一般可以根据虚拟机的作用+系统类型命名（比如：study-ubuntu）到这里简单的设置就结束了，安装也就结束了，后面还有一些你可能会用到的设置。密码：如果只是测试学习，越简单、越好记，越好！你件资源充足的情况下，可以多选些，体验会好些。您的姓名：一般跟用户名同名，输入 您的姓名 后 用户名 会自动同步。了，我这里内核：18，逻辑处理器：18。
2026-06-27 18:58:51
371
原创 Rufus 安装WinToGo
这里选择完镜像后，直接右边保存VDHX到U盘里面，这样就制作了一个虚拟磁盘的WTG，但是这种方式制作出来的VHDX很大，因为不能选择大小，所以建议使用其他的软件部署VHDX模式。WTG就是把系统直接装在U盘里，标准安装就是制作一个U盘的重装系统。这里可自定义卷标名称，方便和本地磁盘进行区分，然后点击开始。完成后如图所示，然后重启使用U盘进入WTG，至此制作完成。这里可先判断你的系统类型是传统还是UEFI,具体可参考。这种就是直接将系统写入到U盘里，然后用U盘启动即可。
2026-06-21 11:12:17
604
原创 从微软官网下载Win10正式版ISO镜像的技巧
我们在重装Win10系统时需要用到ISO镜像，并且微软官网也有专门的“”页面，但问题是，你打开该页面后会发现，微软并没有直接提供Win10 ISO镜像下载，而是提供了《》和《》两款工具的下载（如图 1 ）。虽然通过Media Creation Tool也能下载Win10 ISO镜像，但总不如直接下载来得爽快。那么下面就来教你一个不借助工具直接下载Win10 ISO镜像的技巧。
2026-06-20 11:49:53
953
原创 Edge浏览器开启IE兼容模式
1️⃣ 打开浏览器，点击右上角的三点菜单，选择“设置”。2️⃣ 在设置页面的左侧菜单中，选择“默认浏览器”。如何设置IE浏览器兼容模式。
2026-06-15 18:02:32
428
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人