- 博客(64)
- 收藏
- 关注
RSS订阅原创 一次失败的客户分群，如何让我发现K均值聚类的致命陷阱——直到我用高斯混合模型重构了所有标签
摘要： 盲目套用K均值聚类导致客户分群效果不佳，改用高斯混合模型（GMM）后实现显著提升。GMM通过概率归属适应真实用户特征的重叠分布，使运营策略更精准，点击率提升32%。关键启示：模型选择需匹配业务场景，《数据分析与机器学习面试宝典》中的算法选择框架可帮助避免陷阱。数据科学家应成为连接业务与算法的"翻译官"，而非机械调参者。 （字数：149）
2025-08-26 09:42:09
458
原创 第八课：大白话教你逻辑回归
，或者一封邮件是不是垃圾邮件（垃圾 or 正常？我会用最接地气的方式，从定义讲到实战，保证你笑着学会，还能拿去忽悠朋友！它掐指一算：“嗯，Sigmoid 输出 0.9，90% 可能是垃圾，扔了吧！，拿个 Sigmoid 水晶球，告诉你“这事 80% 能成！逻辑回归本来是二分类（垃圾/正常），但现实问题经常是。至于信不信，就看你的阈值（Threshold）了！（比如一篇文章同时属于“科技”和“财经”）。，别看名字里有“回归”，它其实是用来干。你问逻辑回归：“这封邮件是垃圾邮件吗？（比如猫/狗/鸟）。
2025-06-25 09:00:19
872
原创 第七课：大白话教你什么是多元线性回归
的 Python 示例代码，并配上详细注释和幽默解说，让你不仅能跑通代码，还能彻底搞懂背后的逻辑！想象一下，你是个卖房子的中介，你想预测一套房子的价格。你蒙眼站在山上，用脚探坡度（梯度），然后往最陡的方向迈一步（更新权重），直到走到山谷（误差最小）。我会尽量用最接地气的方式讲，保证你听完之后，不仅能懂，还能拿去跟朋友吹牛！如果模型说“房价完全由猫的数量决定”，L2 正则化会揍它一顿：“冷静点，其他特征也要看看！现在，你可以去忽悠朋友了：“嘿，你知道梯度下降吗？，让预测的房价和真实房价的误差最小！
2025-06-25 08:58:21
990
原创 第四课：大白话中的简单线性回归模型
这时候就需要**代价函数（Cost Function）**出马了——它就是你的"丈母娘评价系统"！，关键是找到足够好的平衡点！别看名字这么学术，其实它就像你相亲时判断对方是否合适的标准一样简单直白！找到模型后，我们得看看它靠不靠谱，就像确定关系前要"考察期"一样。在我们的例子中，p-value会非常小（因为R²很高），说明颜值和心动确实有关系！：找到一条最合适的直线，能最好地表示"颜值→心动"的关系。“你看你预测的心动值(ŷ)和实际心动值(y)差这么多！：这个模型能解释你98.8%的心动变化，相当靠谱！
2025-06-24 15:45:28
1112
原创 第五课：大白话教你用K邻近算法做分类和回归
它可能是机器学习界最「懒」的算法，但偏偏在很多问题上表现惊人！我会用最接地气的方式，带你理解它的工作原理、为什么它这么「懒」、以及它如何帮你做分类和预测。保证你看完不仅能懂，还能用这个知识在朋友聚会上装X！现在你不仅懂了KNN，还知道怎么用它找对象（误）和预测薪资了！试着用Python玩一玩吧～ 🎉。「别问我为什么，看我朋友圈最亲密的K个人就知道了！（就像在一群人中找出和你穿衣风格最像的K个人）这节课我要介绍一个超有意思的算法——：一般从K=√n（n是样本数）开始尝试。
2025-06-24 15:42:41
1114
原创 第三课：大白话中的scikit-learn安装
Mac用户一般环境比较干净，安装起来更简单，但可能会遇到Python版本冲突问题（比如系统自带的Python2和Python3打架）。如果你搞不定pip，或者想一次性安装所有科学计算库（numpy、pandas、matplotlib等），那就用。然后pip就会像勤劳的小蜜蜂一样，自动下载并安装sklearn及其依赖库（比如numpy、scipy）。只要你的电脑有Python，就能用pip装scikit-learn。，最后还会教你如何验证是否安装成功（避免装了个寂寞）。好了，知道它很牛X，现在开始安装！
2025-06-23 10:30:22
909
原创 第一课：大白话中的机器学习
各位看官好啊！今天咱们来聊一个听起来高大上但实际上特别接地气的玩意儿——机器学习。别被这名字吓到，它其实就是教电脑像人类一样学习知识的一套方法。想象一下你教你家狗子坐下、握手的过程，机器学习差不多就是这么回事，只不过"学生"换成了电脑。
2025-06-23 10:27:37
1302
原创 第六课：大白话教你做特征提取
这玩意儿就像给数据"美颜"，把乱七八糟的原始数据变成机器学习能"吃"的格式。我会用最接地气的例子，带你从菜市场砍价一路杀到AI识图，保证你笑着学会！就像追女生，光记生日不够（特征太少），连她家狗的名字都记住又太变态（过拟合），关键要找到那个刚刚好的度！：把原始数据（文本/图像/类别）转换为数值向量的过程。：容易过拟合（就像只记住几个客人喜好就乱推荐）：一个词不再是孤立的数字，而是包含语义的向量。：类别多时会爆炸（100种水果=100维）：把文本拆成单词，统计出现次数（忽略顺序）：词表太大时（如百万级）
2025-06-20 11:12:23
1161
原创 第三十九课：大白话教你使用卷积进行泛化
卷积神经网络泛化能力提升指南 本文介绍了提升卷积神经网络(CNN)泛化能力的三大核心方法： 数据增强：通过随机翻转、旋转和调整色彩等方式扩展训练数据多样性，帮助模型学习更本质的特征。 Dropout技术：在训练过程中随机屏蔽部分神经元，防止模型对特定特征过度依赖，增强鲁棒性。 批标准化(BatchNorm)：稳定各层输入的分布，加速训练并提高模型对新数据的适应能力。 文章通过CIFAR-10数据集上的代码示例，展示了如何在实际应用中结合这些技术构建泛化能力强的CNN模型。这些方法共同作用，使AI系统能够像人
2025-06-20 11:00:51
446
原创 第二十二课：手搓K-means
本文介绍了Python中K-Means聚类的实现与应用。通过两个生动案例(学生类型分析和披萨顾客分群)演示了K-Means的核心功能，包括数据标准化、肘部法则确定K值、聚类结果分析和预测新数据类别。文中总结了K-Means的5大特点(如距离敏感、初始敏感)和适用场景，并提供了5项实用技巧(如特征缩放、K值选择)和5个典型应用场景(客户分群、图像压缩等)。最后介绍了3种评估聚类质量的方法(轮廓系数、惯性值、多次运行)，帮助读者全面掌握这一经典聚类算法。代码示例丰富，配有可视化图表和幽默解读，使机器学习概念更易
2025-06-16 21:00:00
1127
原创 第三十五课：大白话教你pytorch自动求导
PyTorch自动求导机制解析：AI训练的核心魔法 自动求导是PyTorch框架的核心功能，它让神经网络能够"自我反省"并不断优化。本文通过通俗易懂的烹饪类比，揭示了深度学习训练过程的本质。当开启requires_grad=True时，系统开始记录"味觉反馈"，通过.backward()进行"厨艺反思"计算出梯度，优化器则充当"烹饪教练"调整参数。文章还对比了训练与验证模式的区别，解释了过拟合现象，并展示了如何正确使用no_gr
2025-06-16 20:45:00
335
原创 第三十八课：实战案例-飞鸟和飞机的识别
本文介绍了使用PyTorch构建鸟类与飞机识别AI系统的完整流程。主要内容包括： 环境准备与CIFAR-10数据集处理，筛选鸟类(类别2)和飞机(类别0)数据 CNN模型(BirdPlaneSpotter)构建，包含两个卷积层和全连接层 模型训练过程，将鸟类标签转换为1，飞机为0进行二分类训练 测试结果显示模型性能，最终准确率可达90%以上 文章采用生动比喻(如"智能望远镜")讲解技术细节，包含完整代码实现和数据可视化方法，适合PyTorch初学者学习图像分类任务。通过10个epoch的
2025-06-12 21:34:35
628
原创 第三十七课：大白话教你pytorch.nn模块
本文以乐高积木为比喻，生动介绍了PyTorch的nn模块。主要内容包括：1) nn.Module是所有神经网络的基础类；2)常用层类型如Linear、Conv2d及预训练模型的用法；3)损失函数作为模型评估标准；4)通过完整示例展示从搭建、训练到优化的全流程。文章用"乐高积木"、"玩具工厂"等形象比喻，帮助读者理解神经网络组件的组合方式，并提供了实用的代码示例和记忆口诀，让深度学习框架的学习变得轻松有趣。
2025-06-12 21:33:58
298
原创 第十四课：大白话教你什么是神经网络
层次越深，能力越强（但也更难训练）数据是粮食，算力是氧气（缺一不可）没有免费午餐定理（不存在通吃所有问题的网络结构）神经网络≈乐高积木（通过不同组件组合解决特定问题）下次当你用手机人脸解锁时，别忘了背后是数百万神经元在为你打工——它们既不会要求加班费，也不会抱怨996，真是理想的"数字劳工"啊！
2025-06-11 21:07:29
1094
原创 第二十六课：手搓梯度增强
这篇文章生动介绍了Python实现梯度提升(Gradient Boosting)的方法和原理。作者通过四个步骤展示了完整实现过程：1)创建模拟数据；2)训练梯度提升模型；3)评估模型表现；4)可视化学习过程。文章用"小学生共同做作业"和"苹果评价"等通俗比喻，解释了梯度提升循序渐进、关注错误、组合弱学习器的核心思想。最后总结了梯度提升的特点：逐步优化、较好可解释性、抗过拟合能力和特征重要性分析。全文采用活泼的语言风格和丰富的可视化，使复杂的机器学习算法变得易于理解。
2025-06-11 21:04:44
591
原创 第十二课：大白话教你什么是感知机 (1)
“这方案可以打75分(0.75)，再改改”一条红线逐渐移动，最终完美分开蓝色和红色点！“啊，输入(0,0)该输出0…：“方案要么通过(1)要么重做(0)！✅ 线性可分的简单分类（如垃圾邮件过滤）输入(1,0)该输出1…✅ 教学演示（理解神经网络基础）✅ 资源受限环境（计算量极小）❌ 需要概率输出（用逻辑回归）❌ 非线性问题（用深度学习）现代深度学习 → 宇宙飞船。❌ 大数据集（容易欠拟合）感知机就像神经网络家族的。单层感知机 → 三轮车。多层感知机 → 汽车。
2025-06-10 23:23:13
855
原创 第二十九课：大白话教你认识“张量”_第一节
你现在可能只是用它做加减法，但未来可以用它造出自动驾驶、AI画家、游戏机器人……现在，你可以愉快地去玩转张量了。如果你玩过乐高积木，那PyTorch张量（Tensor）就是！——你可以随意拼接、拆解、变形，甚至用它造出AI机器人。：不用写循环，直接对整个数组做计算（适合处理大规模数据）：AI像玩家一样“看到”屏幕像素（张量），决定何时点击。张量是AI世界的“原子”——所有数据、计算、学习都靠它。张量可以记录计算过程，自动求导（AI学习的核心）：。运行这段代码，感受张量的魔力：！：让AI学会识别你写的数字。
2025-06-10 23:19:17
1152
原创 第二十三课：手搓随机森林
随机森林就像让一群决策树"投票"做决定——每棵树可能有点偏见，但大家投票结果往往很准确。下面我们用Python实现这个"集体智慧"算法。
2025-06-09 22:29:18
849
原创 大数据分区存储：让数据不再“乱炖”，查询快如闪电！
摘要： 数据库分区通过逻辑划分数据（如按时间、地区或业务）显著提升查询效率，避免全表扫描。例如，按日期分区的表查询单日数据时只需读取对应分区，速度提升数十倍。分区还支持快速删除（直接删除分区而非逐行操作）和冷热数据分层存储（节省成本）。但需避免过度分区导致元数据爆炸。实际场景中，电商订单表按日期和类目分区后，查询性能可优化至秒级响应。分区技术是高效数据管理的核心手段，尤其适用于时间序列数据和高频过滤场景。
2025-06-09 16:32:25
419
原创 第二十七课：手搓梯度提升树
梯度提升树就像一群小树苗在接力成长，每棵新树都专注于前辈们犯过的错误，最终长成一片预测能力强大的森林。下面我用Python展示这个强大的算法。
2025-06-07 16:30:45
379
原创 第二十八课：深度学习及pytorch简介
Google的猫识别系统在观看千万级YouTube视频后，自己发现了"猫"这个概念，完全没人告诉它猫长什么样！PyTorch就像一辆跑车，不同配置下性能天差地别。：从今天开始，每天用PyTorch实现一个小功能！就像学做菜，从煎鸡蛋到满汉全席，关键是要动手实践。：PyTorch 2.0+已不再支持Python 3.6，就像新版PS5不兼容老式显像管电视。就像教小孩认动物，看多了自然就会，不需要解释"哺乳动物"的定义。：这个功能让PyTorch能自动计算神经网络中数百万参数的梯度！，支持GPU加速运算。
2025-06-07 16:29:49
878
2
原创 第十二课：大白话教你什么是感知机
“这方案可以打75分(0.75)，再改改”一条红线逐渐移动，最终完美分开蓝色和红色点！“啊，输入(0,0)该输出0…：“方案要么通过(1)要么重做(0)！✅ 线性可分的简单分类（如垃圾邮件过滤）输入(1,0)该输出1…✅ 教学演示（理解神经网络基础）✅ 资源受限环境（计算量极小）❌ 需要概率输出（用逻辑回归）❌ 非线性问题（用深度学习）现代深度学习 → 宇宙飞船。❌ 大数据集（容易欠拟合）感知机就像神经网络家族的。单层感知机 → 三轮车。多层感知机 → 汽车。
2025-06-06 21:48:49
849
原创 第九课：大白话教你朴素贝叶斯
这个算法名字听起来像是个“天真无邪的数学小天才”，但其实它是个超级实用的分类工具！我会用最接地气的方式，从定义讲到代码实战，保证你笑着学会，还能拿去忽悠朋友！它说：“根据我的‘天真’计算，包含‘免费’的概率是 80%，包含‘点击’的概率是 60%，所以整体是垃圾邮件的概率是……朴素贝叶斯就像个“单纯的孩子”，假设所有人都是好人，结果被现实打脸！朴素贝叶斯天然支持多分类（比如情感分析：正面/中性/负面）。你问朴素贝叶斯：“这封邮件是垃圾邮件吗！（果然，“免费”+“链接”组合太危险了。
2025-06-06 21:48:21
495
原创 数据分析六部曲？
数据分析入门六步走：从目标到报告 数据分析并非难事，掌握六个基本步骤即可入门：1）明确分析目的，如餐馆老板想找出客流减少原因；2）收集准确完整的数据，包括账本、顾客反馈等；3）清洗整理数据，修正错误、填补缺失；4）选择合适方法进行分析，如对比销售数据或满意度评分；5）可视化呈现结果，选用柱状图、折线图等合适图表；6）撰写简明分析报告，包含问题、方法、结论和建议。遵循这六步法，任何人都能逐步掌握数据分析技能，解决实际问题。
2025-06-04 22:27:36
999
1
原创 什么是数据分析
数据分析入门指南：从定义到应用 数据分析是通过提炼数据信息揭示内在规律的过程，其核心作用在于辅助管理者决策。文章介绍了数据分析的三个层次：描述性分析（初级）、探索性分析和验证性分析（高级）。重点阐述了数据分析的三大应用目的：现状分析（展示过去发生了什么）、原因分析（解释现象成因）以及预测分析。并提出了数据分析的六步流程：明确目的、数据收集、处理、分析、展现和报告撰写。本文为数据分析初学者提供了完整的基础知识框架，后续将深入讲解具体分析方法。
2025-05-24 22:07:48
606
原创 python之数据结构与算法篇
快排，堆排，归并排序详细原理参考这篇这或许是东半球分析十大排序算法最好的一篇文章，下面我将用 Python 快速实现出来。话不多说，Show MeCode!
2025-05-23 22:23:38
1635
原创 数据指标体系：企业数字化转型的“数字基因“革命
数据指标已成为现代企业决策的核心工具，超越了传统的记录功能，成为驱动企业进化的数字基因。本文从数据指标的本质、进化、构建、特征及潜在陷阱五个方面进行深入探讨。首先，数据指标不仅是商业逻辑的数学映射，更是技术与认知的融合体，与业务形成共生关系。其次，数据指标体系经历了从记录层到预测层的价值跃迁，如特斯拉通过新型指标重构行业规则。在构建过程中，业务架构师、数据工程师和决策使用者的协作至关重要，同时需要全生命周期管理。优秀指标应具备量子特征，如精准性与灵活性的统一、指标间的因果网络及预见性。然而，企业也需警惕指标
2025-05-22 22:00:00
628
原创 数据分析中最好用的估算法：费米思想
在数据分析面试中，主考官常提出看似无解的问题，如估算新生儿数量或城市垃圾重量，这实际上是在考察应试者的数据思维能力。这类问题被称为费米问题，源自物理学家费米，其核心思想是通过逻辑拆解将复杂问题分解为可解决的小问题，再通过估算和假设逐步反推答案。费米估算法强调估算上下界，并利用平均律理论，使误差相互抵消，从而提高估算的准确性。这种思维方式不仅适用于数据分析，也能帮助我们在信息不全的情况下做出更准确的决策。
2025-05-22 17:53:11
826
原创 作为数据分析师应该会的20种数据思维！
摘要：数据分析师在面对数据异常时，常陷入主观臆测，缺乏结构化分析思维。胡晨川老师的《数据化管理手册》提出了数据化运营的思维方式，强调信度与效度思维、平衡思维、分类思维、矩阵思维和管道/漏斗思维的重要性。信度与效度是数据质量的基础，平衡思维关注企业运转中的平衡关系，分类思维强调分类后的显著差异，矩阵思维用于无数据支持时的主观推断，管道/漏斗思维则需注意漏斗长度和数值量级。这些思维方式有助于提升数据分析的准确性和有效性，为决策提供坚实支持。
2025-05-22 12:00:00
762
原创 数据分析常考面试题 101 题-业务题（45 道）、SQL（18 道）、统计学（14 道）、机器学习（24 道）
数据分析面试通常考查候选人的数据工具能力和业务分析思维。数据工具能力方面，SQL是常考内容，而业务分析思维则涉及对业务场景的理解和分析。面试中可能会问到如何理解数据分析、数据分析的价值、指标异常波动的分析、注册类与活跃类指标的选择、圆周率计算算法设计、星巴克门店销售额估算、指标与维度的区别、北极星指标与虚荣指标的定义、指标体系的建立方法以及A/B测试的核心原理和应用场景。通过这些问题的详细讲解，候选人可以掌握解答思路，提升面试表现。
2025-05-21 00:56:41
2114
原创 「SCQA+模块爆破」模型
「SCQA+模块爆破」是一种结合结构化表达与问题拆解的方法论模型，广泛应用于商业分析、咨询报告和项目管理等领域，旨在通过清晰的逻辑框架提升问题解决效率。SCQA模型源自麦肯锡《金字塔原理》，通过情境（S）、冲突（C）、问题（Q）和答案（A）四个步骤，快速聚焦问题本质。模块爆破则借鉴工程学中的定向爆破技术，将复杂问题拆解为可操作的子模块，逐一突破，避免资源分散。两者协同应用，可显著提升从问题定义到执行落地的全链条效率，尤其适合需快速推进的复杂项目。该模型优势在于逻辑清晰、资源聚焦，但依赖前期问题诊断的准确性，
2025-05-21 00:48:21
398
原创 从“拍脑袋”到“看数据”的认知革命
很多人认为数据分析的价值在于解决问题，但实际上，它的更大价值在于发现问题，特别是那些尚未浮出水面的问题。他们通过分析用户行为数据，发现了《纸牌屋》这部剧集的潜力所在：喜欢原版英剧的用户群体庞大，导演大卫·芬奇的作品有稳定粉丝基础，主演凯文·史派西的电影在平台表现优异。然而，当两个人持有相反观点时，最终拍板的往往不是基于数据的合理判断，而是谁的声音更大、谁的职级更高。例如，分析销售下滑，可以从“流量减少”、“转化率降低”和“客单价下降”三个维度入手，这三个因素互不重叠又完全涵盖了销售变化的所有可能性。
2025-03-13 17:35:43
925
原创 网店数据分析全攻略：从销售额到客户运营的深度解析
例如，某商品的成交价为100元，包装成本为5元，物流成本为10元，商品成本为50元，则货单利润为35元。例如，某SKU的销售额为10万元，毛利率为50%，是明星产品。例如，某店铺的总货单利润为10万元，售后成本为2万元，平台成本为3万元，则店铺整体利润为5万元。例如，某活动的增量销售额为10万元，毛利率为30%，活动成本为2万元，则活动净收益为1万元。例如，某商品的销售收入为100元，商品成本为60元，则毛利率为40%。例如，某商品的销售成本为10万元，平均库存为5万元，则库存周转率为2。
2025-03-12 15:10:47
998
原创 数据分析必学案例--波士顿犯罪分析
EDA，在数据清洗和建模工作之前，对数据集的分布有一个总体的认识。探索各个特征之间的关系。EDA部分的主要工作在于数据可视化，前提是对数据做了初步的预处理工作。在本例子中，将许多object类型的数据转化为了category类型。熟悉sns.countplot(),sns.boxplot(),sns.kdeplot(),sns.lineplot(),sns.heatmap(),sns.scatterplot()sns.countplot(data,x,hue,order)适合单特征分析。
2025-02-19 17:01:32
750
原创 二十九道机器学习经典面试题
定义：模型在训练数据上表现极好（如准确率高），但在未知数据（测试集/实际场景）中表现差，本质是“死记硬背”训练数据中的噪声或细节，导致泛化能力差。典型表现：训练误差低，测试误差高。解决方法数据层面增加训练数据量（数据增强）。清洗噪声数据（如异常值、错误标签）。模型层面降低模型复杂度（如减少神经网络层数、决策树的深度）。加入正则化（L1/L2正则化，约束权重）。训练技巧交叉验证（如K折交叉验证）。早停法（Early Stopping）：监控验证集误差，提前终止训练。
2025-02-18 18:22:19
1761
原创 机器学习一定要死磕这几种模型！
众所周知，在整个机器学习领域中，使用的最多的模型，无非就是上图的模型，今天就给大家揭秘这些模型的使用场景，并且每一个模型均有一个例子给大家详细展示了在机器学习中的作用。
2025-02-16 17:11:57
1061
原创 Kaggle 入门指南：数据预处理与特征工程全解析
本文将详细讲解在参加 Kaggle 比赛之前，如何进行数据预处理、特征筛选以及特征工程，帮助你从数据中提取有价值的信息，提升模型的性能。
2025-02-14 20:00:00
1124
原创 Scikit-learn 使用指南：从入门到实战
在当今数据驱动的世界中，机器学习已经成为各行各业的核心技术之一。无论是金融领域的风险预测、医疗领域的疾病诊断，还是电商平台的个性化推荐，机器学习都在发挥着重要作用。
2025-02-13 22:00:00
1014
随机森林算法原理与Python实现
2024-09-20
机器学习知识点总结与应用技巧
2024-09-20
零售行业数据分析大纲与方法
2024-09-20
初始化模型权重efficientnetv2-keras-efficientnetv2-s-v2
2024-09-13
HTML5知识点总结汇总
2023-01-02
机器学习项目（二）科比生涯数据集
2023-10-12
项目实战-机器学习之泰坦尼克遇难乘客获救预测
2023-10-09
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人