- 博客(39)
- 收藏
- 关注
RSS订阅原创 Redis 入门：从 “一脸懵” 到 “有点懂” 的入门指南
Redis 是一款开源的内存数据存储系统，常被称为键值对数据库。它的核心特点是将数据主要存储在内存中，因此读写速度非常快，能高效应对高并发场景。Redis 支持多种丰富的数据结构，不仅仅是简单的字符串，还包括哈希、列表、集合和有序集合等，这些结构让它能够灵活处理不同类型的数据需求，比如存储用户信息、消息队列、排行榜等场景都能适用。
2025-08-15 20:10:37
771
原创 小白也能玩转的 Kettle 攻略！从安装到实战全流程超详解
Kettle 就是个 "数据搬运工兼清洁工"👷♀️ 它的大名叫ETL 工具，能帮你把杂乱的数据抽出来、洗干净、再存到想去的地方。比如把 TXT 文件转成 Excel，把 Excel 数据塞进数据库，甚至跨数据库同步数据都不在话下～
2025-08-13 18:49:09
955
原创 Spark 优化全攻略：从 “卡成 PPT“ 到 “飞一般体验“
Spark 任务跑不快，八成是 "饿" 的！就像打游戏没装备，再牛的操作也白搭～ 资源配置是优化的第一步，给够资源，性能直接翻倍！
2025-08-11 13:19:31
1064
原创 SparkSQL 读写数据超全指南 小白也能轻松上手！
SparkSQL 就像一个 “万能文件打开器”，支持超多数据格式，比如 JSON、CSV、Parquet，还能连数据库和 Hive 表！
2025-08-03 11:00:00
1108
原创 SparkSQL 入门指南：小白也能懂的大数据 SQL 处理神器
在 SparkSQL 出现之前，大家用 Spark Core 处理数据得写一堆代码，比如统计个单词出现次数，得写循环、调用各种算子... 想想就头大😫但咱们平时处理的数据大多是 “结构化” 的：比如 Excel 表格、数据库里的表、CSV 文件（用逗号分隔的文件）、JSON 文件这些。这类数据最适合用 SQL 来查询！毕竟写一句SELECT ... GROUP BY可比写几十行代码简单多了～
2025-08-02 09:50:30
1417
原创 SparkCore 之 RDD 算子超详解！小白也能看懂的入门指南
RDD(Resilient Distributed Datasets) ，弹性分布式数据集， 是分布式内存的一个抽象概念，RDD提供了一种高度受限的共享内存模型，即RDD是只读的记录分区的集合，只能通过在其他RDD执行确定的转换操作而创建，然而这些限制使得实现容错的开销很低。对开发者而言，RDD可以看作是Spark的一个对象，它本身运行于内存中，如读文件是一个RDD，对文件计算是一个RDD，结果集也是一个RDD ，不同的分片、 数据之间的依赖 、key-value类型的map数据都可以看做RDD。
2025-07-30 14:00:00
974
原创 Spark 入门：从环境搭建到本地开发，小白也能看懂的超详细指南
实现离线数据批处理：类似于MapReduce、Pandas，写代码做处理：代码类的离线数据处理 。实现交互式即时数据查询：类似于Hive、Presto、Impala，使 用SQL做即席查询分析：SQL类的离线数据处理 。实现实时数据处理：类似于Storm、Flink实现分布式的实时计算：代码类实时计算或者SQL类的实时计算 。实现机器学习的开发：代替传统一些机器学习工具
2025-07-28 19:09:37
1368
原创 DolphinScheduler 的小坑：为啥我的用户总 “失踪”？
H2数据库轻便无需单独安装，启动快，适合临时测试或新手入门时快速上手，但默认数据存于内存易丢失，长期使用或处理大量数据时稳定性不足。其他数据库如MySQL等需单独安装配置，初期稍繁琐，但数据持久存储稳定，能应对大量数据和多用户场景，更适合正式环境和长期使用。H2优势在临时场景和快速试用，其他数据库优势在正式应用和稳定运行。
2025-07-23 19:05:55
978
原创 HiveSQL 优化全攻略：大数据场景下的提速秘籍
Hive 基于 Hadoop，底层靠 MapReduce/Tez/Spark 执行，天生适合处理大数据，但也有 "软肋"：启动 MapReduce 任务开销大（小数据查询可能比 MySQL 还慢），数据量大时容易出现 "数据倾斜"（某台机器累死，其他机器闲死），默认配置偏保守，需要手动调优释放性能。所以优化 HiveSQL 的核心思路是：减少计算开销、避免资源浪费、让任务跑在正确的 "赛道" 上。
2025-07-19 19:00:00
1219
原创 MySQL之SQL 优化全攻略：从原理到实战
今天来跟大家好好聊聊 MySQL 的 SQL 优化～不管是开发还是运维，写得一手高效的 SQL 都是必备技能，毕竟谁也不想让系统卡成 PPT 对吧😂 这篇文章会从 MySQL 的底层逻辑讲到实际优化技巧，全是干货，赶紧码住！
2025-07-18 16:00:00
1153
原创 大数据工作中的数据治理：小白也能看懂的那些事儿
数据治理是组织中涉及数据使用的一整套管理行为。由企业数据治理部门发起并推行，关于如何制定和实施针对整个企业内部数据的商业应用和技术管理的一系列政策和流程。国际数据管理协会（DAMA）给出的定义：数据治理是对数据资产管理行使权力和控制的活动集合。
2025-07-16 18:55:24
1499
原创 【Python 数据分析入门】NumPy 库超详细指南：安装、基础用法与经典案例
NumPy（Numerical Python）是 Python 科学计算的核心库，是 Python 语言的一个扩展程序库，支持大量的维度数组与矩阵运算，此外也针对数组运算提供大量的数学函数库。主要用于处理多维数组对象和一系列数学函数。它就像是数据分析的 "地基"，后续要学的 Pandas、Matplotlib 等神器都是基于它搭建的哦
2025-07-08 19:59:30
1489
原创 Java 多线程与线程池：从 “瞎创建” 到 “巧管理” 的全攻略
多线程的存在，不是提高程序的执行速度。其实是**为了提高应用程序的使用率。程序的执行其实都是在抢CPU的资源，CPU的执行权。多个进程是在抢这个资源，而其中的某一个进程如果执行路径（线程）比较多，就会有更高的几率抢到CPU的 执行权。 我们是不敢保证哪一个线程能够在哪个时刻抢到，所以线程的执行有随机性。
2025-07-05 10:00:00
925
原创 Java IO 流全解析：从基础到高级应用(‾◡◝)
在生活中，数据的传输就像水流一样，我们可以把它看作是一种数据的流动。在 Java 里，以内存为基准，数据流向内存的是输入流（读取数据），流出内存的是输出流（写出数据）。Java 的 I/O 操作主要使用java.io包下的内容。IO 流可以根据数据的流向分为输入流和输出流，根据数据的类型分为字节流和字符流。字节流以字节为单位读写数据，可以处理所有类型的文件；字符流以字符为单位读写数据，主要用于处理文本文件。
2025-07-02 18:40:03
1216
原创 大数据里的拉链表：数据版本管理的时间胶囊
拉链表：维护历史状态，以及最新状态数据的一种表，拉链表根据拉链粒度的不同，实际上相当于快照，只不过做了优化，去除了一部分不变的记录，通过拉链表可以很方便的还原出拉链时点的客户记录。在企业中，由于有些流水表每日有几千万条记录，数据仓库保存5年数据的话很容易不堪重负，因此可以使用拉链表的算法来节省存储空间。
2025-06-26 18:48:42
1472
原创 震惊！调换POM文件两行代码，竟让程序员加班到凌晨？◑﹏◐UnsatisfiedDependencyException: Error creating bean with name错误解析
使用Java提取hdfs上的数据至mysql时报错java.lang.IllegalStateException: Failed to load ApplicationContext UnsatisfiedDependencyException: Error creating bean with name
2025-06-23 19:05:42
316
原创 数据搬家界的 “六边形战士“✨：教你玩转 DataX
DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括 MySQL、SQL Server、Oracle、PostgreSQL、HDFS、Hive、HBase、OTS、ODPS 等各种异构数据源之间高效的数据同步功能。可以理解为国内版的Sqoop。但是比Sqoop要快，Sqoop底层是MR(Map任务），基于磁盘的，DataX基于内存的，所以速度比较快。
2025-06-22 20:50:48
1002
原创 Hive 硬核真相：Metastore 为啥比 HiveServer2 稳？(无鸡汤，纯干货！)
Hive Metastore 和 HiveServer2 在架构、职责和资源消耗上的根本差异，导致 Metastore 在实践中通常表现出更高的稳定性；Metastore 比 HiveServer2 稳定，主要是因为 Metastore 的核心任务更轻量级、资源消耗更低、状态管理更简单，使其在相同或类似环境下运行宕机或性能恶化的概率更低。
2025-06-21 15:33:22
373
原创 搭建单机版 DolphinScheduler保姆级教程，萌新也能轻松上手！
Apache DolphinScheduler是一个分布式、易扩展的可视化DAG工作流任务调度平台。致力于解决数据处理流程中错综复杂的依赖关系，使调度系统在数据处理流程中开箱即用（拎包入住）。
2025-06-19 09:50:33
909
原创 Hive SQL插入数据报错 Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask
Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask一次由"分区太多"引发的翻车现场全记录
2025-06-18 20:16:54
228
原创 手把手教你玩转 Sqoop：从数据库到大数据的「数据搬运工」
Sqoop（SQL to Hadoop）是一个用于在Apache Hadoop和关系型数据库之间进行数据传输的工具。它允许用户将结构化数据从关系型数据库（如MySQL、Oracle、SQL Server等）导入到HDFS或Hive表中，或者将数据从HDFS导出到关系型数据库中。
2025-06-18 10:00:00
2621
原创 使用Dolphin scheduler的Sqoop组件抽取数据报 ClassNotFoundException: Class QueryResult not found 解决方案
今天在使用Dolphin scheduler海豚调度器的Sqoop组件将MySQL中的数据调度到hive数据库中出现了ClassNotFoundException: Class QueryResult not found错误
2025-06-18 08:33:37
410
原创 深入剖析 Apache Flume：从日志收集到数据流转的全链路指南
Apache Flume 是一个分布式、高可靠、高可用的用来收集、聚合、转移不同来源的大量日志数据到中央数据仓库的工具。在大数据领域，日志数据就像城市地下的自来水，源源不断地产生却需要有序管理。Apache Flume 作为 Apache 顶级项目，正是这样一套专业的 "数据管道系统"，它能将分散在各处的日志数据高效收集、聚合并传输到中央数据仓库。
2025-06-17 11:21:33
1350
原创 Hive 序列化与反序列化：数据的 “打包“ 与 “拆箱“ 艺术
想象一下：你要把一只活蹦乱跳的兔子从北京快递到上海，直接扔箱子里肯定不行 —— 对象在内存里是 "活物"，但要存硬盘、走网络就得先 "打包" 成字节流。这就是序列化的核心使命！
2025-06-13 09:00:03
1495
原创 【影刀 RPA 爬虫修炼手册】当 IT 大佬用机器人抓数据时，连鼠标都在摸鱼
影刀RPA是一个自动化流程工具，也就是“机器人”，没有独立思考的能力，只会不断地做着重复的事情，本次使用影刀RPA，实现对豆瓣电影TOP250数据的爬取，实战示例保存在excel数据表中。小伙伴们可以在这个案例的基础基础上，设计更多的商品数据采集机器人。为我们的运营决策提供有力依据！
2025-05-28 19:01:38
3256
原创 【影刀 RPA】当码农掏出这把自动化瑞士军刀，产品经理都得喊真香！
影刀RPA是一款软件机器人，能模拟人的各种操作，能在任何应用程式上进行鼠标点击、键盘输入、读取信息等自动化操作，释放人非主观决策、逻辑性高、规则性强的工作。我们可以把它理解为：“虚拟机器人”替代人工的一种方式。RPA不仅可以模拟人类，而且可以利用和融合现有各项技术，实现其流程自动化的目标。简单叙述，就是一切重复、有规则的工作，都可以用影刀完成。你只需要设置好固定的流程，影刀就会在电脑/手机上模仿人工，一步步完成操作，而且影刀的完成速度是人的速度的5倍左右。
2025-05-28 17:29:51
1175
1
原创 SpringMVC 架构：从餐厅点餐到代码撸串的玄学指南
SpringMVC 是 Spring 框架中的一个模块，用于构建 Web 应用的 MVC 架构。它提供了简洁、优雅的方式来处理 HTTP 请求和响应，支持前后端分离，优化用户体验。
2025-05-26 13:30:48
1000
原创 Hadoop 三巨头：大数据界的搬砖天团
HDFS（Hadoop Distributed File System），这东西本质上就是个超级大仓库，但和你家楼下的仓储超市不一样，它把货架拆成了无数小块扔到世界各地。MapReduce，这玩意儿是 Hadoop 的 "干活主力"，工作模式就像组装汽车的流水线。YARN（Yet Another Resource Negotiator），这哥们儿是 Hadoop 的 "大管家"，专门负责分配资源。
2025-05-25 09:30:00
1012
原创 Hive 自定义函数：从 “搬砖工“ 到 “造轮子大佬“ 的逆袭之路
- 先把jar包放到Hive的lib目录下，比如/opt/hive/lib/-- 创建临时函数，注意temporary关键字//这里单引号里的路径应与Java类的路径一致-- 测试一下，输入"zhang"应该输出"Zhang"面试官："你在项目中自定义过 Hive 函数吗？普通回答："用过，写过一个首字母大写的 UDF。大佬回答：" 哦，你说 UDF 啊，我们项目里用得挺多的。比如有个需求是解析嵌套 JSON，内置函数搞不定，我就写了个 UDTF，用递归解析嵌套结构，然后通过。
2025-05-24 10:49:31
2276
原创 【ZooKeeper角色三巨头】Leader是霸道总裁？Follower在摸鱼？Observer竟是吃瓜群众？
Leader：能力越大责任越大，但死得也快Follower：表面摸鱼，实则暗藏野心Observer：闷声发大财的典型代表
2025-05-21 19:12:25
1115
原创 hive插入数据报错IOException(Unable toclosefile becausethe last blockdoes nothave enough number of replicas
Job Submission failed with exception 'java.io.IOException(Unable to close file because the last block BP-1696380843-192.168.139.128-1747021700060:blk_1073742200_1376 does not have enough number of replicas.)'报错的解析与应对
2025-05-20 20:03:36
888
1
原创 手把手教你修改 C 盘用户目录用户名：从中文到英文的避坑指南（亲测有效）
修改用户目录名是系统优化的基础操作，虽然涉及注册表，但按步骤执行风险可控。完成后你的开发环境、软件兼容性都会更稳定，再也不用担心中文路径引发的玄学问题了！
2025-05-19 13:53:41
7199
6
原创 手把手教你用Ollama“白嫖”本地Deepseek！零基础也能玩转大模型！
Deepseek是深度求索公司开源的强大语言模型，能力接近GPT-3.5，关键是完全免费！写代码、写文案、陪你聊天，样样精通！
2025-05-15 08:47:03
1957
原创 python爬虫保姆级教程：从小白到大神的进阶之路
作为一名混迹互联网多年的老鸟，今天我要给各位想学爬虫的萌新们带来一份超详细的Python爬虫成长指南。看完这篇，保证你能从"Hello World"水平直接晋级到能写分布式爬虫的大佬级别！
2025-05-13 10:44:47
9690
4
原创 深入剖析Hadoop之HDFS的安装，HDFS中的Shell命令与分布式的搭建
HDFS 的使命就是解决海量数据存储难题，它能让存储平台的服务器无限扩展 。与之协同工作的，Yarn 是计算的资源基础，MapReduce 则用于解决计算问题，是个需要写代码的计算框架。HDFS 有本地模式、伪分布模式和全分布模式这三种运行模式。
2025-05-12 19:45:54
790
原创 Linux命令与Shell脚本操作中的潜在问题：错误输入或无参数时面临的风险
rm -rf 是Linux中一个极其强大的命令，它用于递归强制删除文件和目录，且不会提示确认。Shell脚本通常依赖外部输入（如命令行参数、环境变量、用户输入），如果不对参数进行检查，可能导致不可预料的错误
2025-05-10 11:40:36
768
原创 数据备份原理实验深度解析：守护你的数字资产
提前进行数据备份可以防患于未然，有了Second copy这个软件，简简单单的几步，随便抽出的时间都可以给自己“套上增益”
2025-05-08 20:23:54
860
原创 信息安全之使用Burpsuite进行SQL注入安全实验
本文介绍了如何使用Burpsuite以及DVWA进行SQL注入测试，包括准备工作、发现潜在注入点、验证注入类型及利用漏洞获取数据的方法。
2025-05-07 20:20:23
1307
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人