- 博客(55)
- 收藏
- 关注
RSS订阅原创 Hive函数大全：单行函数+炸裂函数
本文系统讲解Hive函数大全，涵盖函数查询三板斧（show functions、desc function）、单行函数（数学、集合、日期、字符串、流程控制）及炸裂函数（explode、lateral view等），并通过WordCount实战演示数据拆分与行转列。重点掌握日期处理、正则替换、复杂类型操作，实现高效数据清洗与分析，为后续窗口函数与面试题打下坚实基础。
2026-10-19 19:37:50
40
原创 Hive基础查询与存储格式对比：ORC为什么快36%
本文系统讲解Hive查询语法与存储格式性能差异。上半场覆盖建表、基础查询、聚合分组及五类join操作，强调SQL执行顺序与别名使用规范；下半场通过实测对比TEXTFILE、ORC、PARQUET三种格式，揭示列式存储（如ORC）因只读取所需列，减少I/O，较行式存储快36%。结合工程实践，给出选型建议与面试要点，助力高效数据处理。
2026-10-18 21:04:59
384
原创 Hive分区表与分桶表：大数据查询提速的第一把钥匙
本文系统讲解Hive分区表与分桶表的核心原理与实战应用。通过“26秒查询”痛点引出分区必要性，详解静态/动态分区建表、数据加载、分区裁剪及运维操作，强调分区键选择原则与二级分区设计。深入剖析分区过度导致的小文件问题及其对NameNode和查询性能的负面影响，并对比分区与分桶的适用场景，揭示其在大数据查询提速中的关键作用，兼具面试考点与工程实践价值。
2026-10-16 19:45:17
310
原创 Hive-DML：Load-Insert-Export-Import四种数据进出方式
Hive数据进出有四种方式：LOAD DATA（本地复制、HDFS剪切）用于批量加载文件；INSERT SELECT实现表间结果集迁移，支持追加或覆盖；INSERT VALUES可手动插入单行，但生产慎用；INSERT DIRECTORY将查询结果导出至本地或HDFS文件系统；EXPORT/IMPORT则支持整表连同元数据的跨集群迁移。其中，LOAD最高效，INSERT适用于加工逻辑，EXPORT/IMPORT适合表级迁移。核心原则：能用LOAD就不用INSERT，数据操作以文件和批量为主。
2026-10-15 20:47:20
470
原创 Hive-DDL：数据库与表操作，内部表vs外部表一文讲透
本文系统讲解Hive数据库与表的DDL操作，涵盖库表创建、修改、删除及查看。重点剖析内部表与外部表的核心差异：内部表数据由Hive管理，删除表时连数据一并清除；外部表仅管理元数据，删除表不删数据，适合共享数据。通过建表语法拆解、数据类型、分隔符配置等实战案例，帮助读者掌握表结构设计关键点，并附面试高频考点与避坑指南，实现从入门到实操的无缝衔接。
2026-10-13 19:29:09
496
原创 Hive入门：架构解析与安装部署实录
本文介绍Hive作为基于Hadoop的数据仓库工具，通过类SQL（HQL）实现对HDFS结构化数据的分析。文章解析其架构：用户接口、元数据存储（Metastore）、驱动器（四步执行流程），并以“点菜-后厨”类比阐明其核心价值——降低大数据分析门槛。详细演示了在CentOS 7环境下部署Hive 3.1.3的六步流程，包括环境准备、配置文件设置、元数据库初始化及服务启动，并强调元数据存于MySQL、真实数据在HDFS的分离特性。最后通过建表查数验证功能，为后续实战打下基础。
2026-10-12 21:09:51
439
原创 Hadoop基础：YARN架构原理与调度器深度解析
YARN是Hadoop 2.0推出的分布式资源调度框架，解耦资源管理与计算任务，支持多计算引擎（如MapReduce、Spark）。其核心由四大组件构成：ResourceManager（全局调度）、NodeManager（节点管理）、ApplicationMaster（应用协调）和Container（资源容器）。作业提交后，通过15步流程完成资源申请、任务分配与执行。三种调度器——FIFO、Capacity和Fair Scheduler——分别适用于简单队列、多租户容量保障与公平共享场景。掌握架构原理、工作
2026-10-11 20:21:12
583
原创 HDFS读写流程与MapReduce原理深度解析（面试高频考点）
本文深度解析HDFS读写流程与MapReduce工作原理，涵盖HDFS写（8步：请求、选址、建管道、传数据、完成）与读（4步：查元数据、就近选节点、传输、缓存输出）流程，详解MapReduce的切片、Map、Shuffle（分区、排序、拉取、合并）、Reduce处理全过程，并剖析DataNode心跳、块报告及NameNode元数据管理机制，全面覆盖大数据面试高频考点。
2026-10-09 20:46:49
524
原创 Hadoop基础入门到实战：从Python理解MapReduce到HDFS架构与集群搭建
本文从大数据核心问题切入，通过Python代码详解MapReduce分治思想，模拟1000万条卡口过车数据的分布式统计；深入解析HDFS主从架构与数据写入流程，理解NameNode、DataNode角色分工；最后提供Hadoop 3.1.3集群搭建全流程，帮助初学者掌握分布式存储与计算的核心原理，为学习Spark/Flink打下坚实基础。
2026-10-08 19:49:55
329
原创 MediaPipe自定义手势识别
本文介绍一个基于MediaPipe的自定义手势识别项目，从摄像头采集手部关键点数据（21个三维坐标，共63维特征），通过KNN、SVM、决策树、随机森林等传统机器学习模型训练，并实现实时手势识别。项目流程清晰：数据采集→模型训练评估→部署应用，无需深度学习基础，仅需Python与机器学习知识，即可完成从零到一的手势识别系统构建。
2026-09-30 10:06:04
385
原创 MediaPipe人体感知全指南
本文系统介绍Google MediaPipe在人体感知中的应用，涵盖手部检测（21关键点）、手势识别（0-10）及Face Mesh（478点）等核心技术。基于mp_hands.Hands()模块，通过参数配置实现高精度实时手部追踪，并结合关键点坐标计算手势形态，实现数字识别。代码实战演示了从摄像头输入到关键点绘制的完整流程，适用于跨平台开发，兼具高效性与易用性。
2026-09-29 19:41:39
571
原创 Dlib库：换脸技术全流程实现
本文详解dlib人脸替换全流程：从仿射变换基础出发，通过68关键点检测、凸包掩膜生成、SVD求解最优变换矩阵，实现人脸的几何对齐与颜色校正，最终结合高斯模糊掩膜完成自然融合。核心在于三点确定仿射变换，利用mask平滑过渡，确保换脸效果真实连贯。
2026-09-28 19:30:18
269
原创 Dlib库：dlib_CNN人脸检测详解
本文详解dlib中基于MMOD算法的CNN人脸检测技术，对比HOG检测器优势，阐述模型原理、API差异及实战应用。重点解析cnn_face_detection_model_v1的使用方法，强调返回值为mmod_rectangle需通过.rect获取坐标、.confidence获取置信度。提供完整代码示例，展示多尺度检测与可视化流程，适用于高精度人脸检测场景。
2026-09-22 20:57:41
508
原创 OpenCV_DNN模块—年龄性别预测实战
本文介绍使用OpenCV DNN模块结合Caffe模型实现人脸检测、年龄与性别预测的完整流程。通过加载SSD人脸检测模型及预训练的年龄、性别分类模型，完成图像预处理、推理与结果可视化。代码涵盖模型加载、人脸定位、裁剪、分类及中文标注，支持跨平台部署，无需依赖TensorFlow或PyTorch，适合嵌入式与移动端应用。
2026-09-22 20:31:00
439
原创 Dlib库：dlib人脸轮廓与表情疲劳检测实战
本文基于dlib 68点人脸关键点，实现人脸轮廓绘制、表情识别与疲劳检测。通过凸包与线段连接结合的方式精准勾勒面部轮廓；利用EAR（眼睛纵横比）和MAR（嘴部高宽比）公式，判断大笑、愤怒、哭泣等表情；结合连续帧分析，有效识别疲劳状态，提升实际应用可靠性。代码结构清晰，可直接用于实时监控系统。
2026-09-21 21:09:37
445
原创 Dlib库：dlib人脸检测与关键点检测完全指南
本文系统讲解dlib库的人脸检测与关键点检测技术，重点介绍基于HOG+ SVM的正面人脸检测原理及代码实现。通过对比OpenCV Haar级联算法，展示dlib在精度和小人脸检测上的优势。附完整实战代码，涵盖图像检测、摄像头实时识别及结果可视化，适合初学者快速掌握人脸检测核心技术。
2026-09-21 20:50:24
337
原创 深度学习：卷积神经网络从入门到迁移学习实战
本文系统讲解卷积神经网络（CNN）从基础原理到迁移学习的实战应用。通过分析全连接网络在图像处理中的参数爆炸与空间信息丢失问题，引出CNN的参数共享与局部连接优势。详解卷积操作、池化层、感受野等核心机制，并以MNIST手写数字识别为起点，逐步演进至LeNet、ResNet等经典网络结构。重点剖析ResNet残差连接设计，最终实现基于ResNet18的20类食物分类迁移学习，结合代码注解与配图，完整呈现“从入门到实战”的学习路径。
2026-09-16 14:11:15
463
原创 深度学习：PyTorch框架初识——MNIST手写数字识别
本文详细介绍了使用PyTorch从零搭建神经网络实现MNIST手写数字识别的全流程：涵盖环境配置（含CUDA安装）、数据加载与批处理、模型定义、激活函数选择（ReLU优势）、训练测试函数设计，以及损失函数与优化器配置。通过代码注解，完整演示了数据预处理、设备自动切换（GPU/CPU）、模型训练与评估全过程，适合深度学习初学者系统掌握PyTorch核心流程。
2026-09-15 20:05:16
464
原创 深度学习：神经网络原理
本文从直线方程 $y = kx + b$ 出发，系统讲解神经网络核心原理：神经元本质为矩阵运算与激活函数的组合，通过多层结构实现非线性拟合；引入隐藏层与偏置增强表达能力，解决线性分类局限；结合损失函数、交叉熵与正则化优化模型，利用梯度下降与反向传播算法自动调整参数；最终揭示深度网络如何分层提取复杂特征，构建从浅到深的智能学习体系。
2026-09-14 20:13:51
429
原创 05_FisherFace人脸识别与中文显示
本文系统介绍 OpenCV 中的 FisherFace（LDA）人脸识别算法，对比 PCA 与 LDA 的核心差异，阐明其“最大化类间距离、最小化类内距离”的优化目标。通过完整 Python 代码实现训练与预测，并针对 cv2.putText 不支持中文的问题，提出基于 PIL 的中文显示解决方案。最后横向对比 LBPH、EigenFace 与 FisherFace 的优缺点，给出实际应用场景下的选型建议，助力开发者高效构建中文友好的人脸识别系统。
2026-09-11 19:47:11
283
原创 04_EigenFace特征脸PCA人脸识别
本文详解OpenCV中EigenFace人脸识别算法，基于PCA实现人脸图像的全局降维。将人脸视为高维向量，通过计算特征脸（主成分）提取关键区分特征，在低维空间进行识别。文章涵盖原理、特征脸可视化、训练流程、完整Python代码及API使用，对比LBPH优劣，并给出提升准确率的实用建议，如统一图像尺寸、合理选择主成分数量与置信度阈值。
2026-09-11 19:41:36
246
原创 03_LBPH人脸识别算法原理与实战
本文详细讲解 OpenCV 中 LBPH（局部二值模式直方图）人脸识别算法的原理与完整实现。首先介绍 LBP 特征的计算原理（基本算子与圆形扩展），接着说明如何从 LBP 特征图划分单元格、统计直方图并拼接成特征向量，然后梳理训练与识别两个阶段的核心流程。文章给出可直接运行的环境安装命令与完整 Python 代码，并对 `LBPHFaceRecognizer_create`、`train`、`predict` 等关键 API 逐一详解，最后总结提高准确率的实用技巧与 LBPH 的优缺点，适合人脸识别入门读者
2026-09-10 20:12:58
306
原创 02_摄像头实时人脸检测与微笑识别
本文基于 OpenCV 的 Haar 级联分类器，实现调用电脑摄像头进行实时人脸检测与微笑识别。文章从 `VideoCapture` 摄像头操作基础讲起，逐步介绍 ROI 区域提取、微笑检测分类器的加载与使用，并给出完整可运行的 Python 代码。同时深入解析了 ROI 坐标到整图坐标的换算、`cv2.putText` 文字绘制以及人脸与微笑检测参数差异等关键知识点，最后提供运行调试技巧与扩展思路，帮助读者从静态图片检测平滑过渡到实时视频流应用。
2026-09-10 20:05:46
357
原创 01_Haar级联分类器人脸检测入门
本文从零开始讲解 OpenCV 中 Haar 级联分类器的人脸检测原理。首先介绍 Haar 特征的定义、常见类型与特征值计算方法，接着深入剖析积分图如何将矩形区域求和优化为常数级运算，以及 AdaBoost 与级联分类器如何由简到繁地筛选人脸。随后给出完整的 Python 代码实现，并逐一详解 `detectMultiScale` 核心参数的含义与调参建议，最后总结误检、漏检、速度慢等常见问题的解决技巧，帮助读者快速上手并调优自己的检测程序。
2026-09-10 19:34:04
441
原创 MySQL_DML_DDL_约束与事务详解
本文系统总结 MySQL 三大语言体系——DML（增删改）、DDL（库表结构管理）、DCL（事务控制），并深入讲解约束条件与视图。涵盖 INSERT/UPDATE/DELETE/TRUNCATE 语法与对比、库表创建修改删除、六大约束、ACID 四大特性、SAVEPOINT 部分回滚及四种事务隔离级别（脏读/不可重复读/幻读），附大量实战示例与对比表格，是面试与开发的必备参考。
2026-09-04 19:39:18
560
原创 MySQL_子查询_分页查询与联合查询详解
本文系统讲解 MySQL 查询进阶三大核心技能——子查询、分页查询与联合查询。先梳理子查询的分类与特点，再结合 HR 示例库数据，逐一演示 `WHERE`/`HAVING` 后的标量、列、行子查询，`SELECT` 后的相关子查询，`FROM` 后的派生表及 `EXISTS` 用法；接着介绍 `LIMIT` 分页语法与分页公式，最后讲解 `UNION`/`UNION ALL` 合并结果集。全文示例均附运行结果，适合初学者对照练习，也是面试高频考点速查。
2026-09-03 19:51:23
356
原创 MySQL_流程控制_分组查询与连接查询详解
本文系统讲解了 MySQL 四大核心查询知识：流程控制函数（IF 与 CASE 两种语法格式）、分组函数（SUM/AVG/MAX/MIN/COUNT 五大聚合函数及其对 NULL 的处理）、分组查询（GROUP BY 的语法执行顺序、WHERE 与 HAVING 的区别、多字段/表达式分组）以及连接查询（内连接的等值/非等值/自连接、外连接的左外/右外及 MySQL 不支持全外连接的 UNION 模拟、交叉连接）。
2026-09-02 19:50:57
285
原创 MySQL_DQL基础查询与常用函数详解
在SQL语言的四大分类中，DQL（Data Query Language，数据查询语言）是我们日常工作中使用频率最高的一类。它的核心关键字是 SELECT，用于从数据库中检索数据，并以"虚拟表"的形式返回结果。可以把它简单理解为"问数据库要数据"的那把钥匙——你告诉它要什么列、从哪张表要、按什么条件筛、按什么顺序排，它就给你一张结果表。
2026-09-02 19:43:07
428
原创 【机器学习实战项目】矿物分类系统：6种缺失值填充+6种分类算法模型训练
本文完整实现了一个矿物化学成分分类系统，从数据清洗到模型评估全流程覆盖。通过对比 6种缺失值填充方法 和 6种经典分类算法，深入分析不同数据预处理方式对模型性能的影响。文末附完整代码和实验数据。
2026-08-28 20:44:29
591
原创 机器学习：K-means 聚类与 DBSCAN 聚类
无监督学习是机器学习的两大支柱之一。如果说分类是"照着答案对号入座"（有监督），那么聚类就是"没有答案自己找规律"（无监督）。本文用**同一份啤酒数据集**，对比聚类两大流派——基于划分的 **K-means** 与基于密度的 **DBSCAN**，一次讲透它们的原理、代码、调参与差异。
2026-08-26 20:41:18
818
原创 OpenCV小实战_答题卡选择题批改
每次考试结束，老师面对几百张涂卡试卷手动批改，既费时又易错。本文带你用 OpenCV 从零实现一个**答题卡自动批改系统**：输入一张手机拍的答题卡照片，输出每道题的选项和得分。
2026-08-26 15:33:32
867
原创 OpenCV_SIFT原理详解与实战应用
SIFT（Scale-Invariant Feature Transform）是计算机视觉中最经典、最实用的局部特征检测算法之一。它能在不同尺度、旋转、光照下稳定地找到图像中的特征点，是**指纹验证、图像拼接、目标识别**等任务的核心技术。
2026-08-25 20:12:02
527
原创 机器学习：TF-IDF
计算机不认识汉字，更不懂得"黛玉葬花"的凄美。要让机器理解一篇文本在讲什么，第一步就是把文字变成数字。TF-IDF（词频-逆文档频率）就是其中最经典、最经久不衰的一种"文字数字化"方法。本文将以《红楼梦》120 回文本为语料，结合 sklearn 与 jieba，从原理推导到代码逐行解析，带你彻底搞懂 TF-IDF。
2026-08-24 20:33:44
526
原创 集成学习之随机森林
一棵决策树容易"死记硬背"过拟合，那就种一片森林让它们集体投票——这就是随机森林的核心哲学。本文将从"为什么需要随机森林"出发，结合两个实战案例（垃圾邮件识别、银行贷款违约预测）逐行解析代码逻辑，详细讲解参数调优方法，并对比随机森林与决策树的差异。
2026-08-23 20:14:07
768
原创 OpenCV 进阶：高斯金字塔、直方图、图像透视变换
本文系统讲解了 OpenCV 中三个核心图像处理技术：**高斯金字塔**、**直方图**和**图像透视变换**。通过通俗的语言、直观的对比图和简洁的代码，帮助初学者快速掌握这些技术的原理与实践。
2026-08-21 21:27:38
434
原创 NumPy 科学计算完全指南：从数组创建到广播机制
NumPy 是 Python 数据分析和机器学习的基石——Pandas、SciPy、Matplotlib、scikit-learn 全部构建在 NumPy 之上。本文以知识点解析 + 代码实例为主线，所有代码输出均为真实运行结果，可直接复制验证。
2026-08-20 21:05:23
521
原创 决策树算法介绍及实战：从熵计算到电信客户流失预测
文章包含：决策树算法原理图解、三个代码案例的逐行解析、实际运行结果、sklearn 参数详解、交叉验证调参实战，以及决策树内部决策路径的"调试级"拆解。
2026-08-19 20:10:40
378
原创 OpenCV综合实战：银行卡卡号识别
本文介绍了使用OpenCV实现银行卡卡号识别的完整流程。通过模板匹配方法，系统能够自动识别信用卡图片中的卡号并判断卡类型。主要步骤包括：准备数字模板（OCR-A字体）、预处理信用卡图像（灰度化、顶帽运算、闭运算）、定位卡号区域、分割单个数字、进行模板匹配识别数字，最终输出完整卡号。项目综合运用了OpenCV的图像处理技术，包括阈值处理、形态学操作、轮廓检测和模板匹配等核心功能。文中还详细讲解了argparse命令行参数解析工具的使用方法，以及如何构建自定义工具模块来辅助开发。该方案可作为计算机视觉在金融领域
2026-08-16 20:47:59
730
1
原创 逻辑回归介绍+实战：银行贷款审批预测四种方案对比
本文介绍了逻辑回归算法及其在银行贷款审批预测中的应用。通过四个递进案例，从基础逻辑回归到处理样本不均衡和参数调优，全面讲解了算法原理和实战技巧。逻辑回归通过Sigmoid函数将线性评分转换为概率，适用于二分类问题。文章强调了样本不均衡场景下评估指标的选择，详细解释了混淆矩阵和精确率、召回率等概念。最后基于包含28万条记录的贷款数据集进行实战，展示了PCA处理后的匿名特征和极端不平衡数据分布（正负样本比578:1），为后续建模奠定了基础。
2026-08-12 21:26:21
330
1
原创 线性回归详解与实战
本文详细介绍了线性回归的原理与应用，通过体重和年龄预测血压收缩值的实战案例，完整展示了线性回归模型的构建流程。文章首先解释了线性回归的基本概念（一元/多元线性回归方程），并介绍了最小二乘法损失函数和R²评估指标。接着详细解析了sklearn的LinearRegression API参数和使用方法。在实战部分，通过分析医疗数据（体重、年龄与血压的关系），建立回归模型并解读结果，最终得到R²=0.9461的高拟合度模型。该案例表明体重对血压影响（2.14mmHg/kg）显著大于年龄（0.40mmHg/岁），为线
2026-08-12 14:06:37
331
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人