数据挖掘2021-4-27课堂笔记

最新推荐文章于 2024-07-20 01:39:57 发布
最新推荐文章于 2024-07-20 01:39:57 发布
阅读量146 收藏
点赞数
分类专栏： 数据挖掘学习笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_37682172/article/details/116202054
版权
本文探讨了数据挖掘中的监督学习和无监督学习，包括分类与数值预测问题。决策树归纳法被提及，其通过信息增益、熵和基尼指数进行特征选择。文章还讨论了过拟合、树修剪以及朴素贝叶斯分类器的优势和局限。此外，提到了如何使用贝叶斯信念网络解决变量依赖问题。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

数据挖掘

监督学习（分类）

无监督学习（聚类）

prediction problems：Classification vs. Numeric Prediction

测试集的数据，与训练集应该严格分开。 假如考试的题之前作业都见过，就无法检测是否真正掌握

Decision Tree Induction（决策树归纳法）

直观，容易理解
在这里插入图片描述

信息增益，熵

熵高，高不确定性
熵低，低不确定性

连续值：<20, 20~30, 30 ~40, >40

Gain Ratio

Gini Index Used in CART

在这里插入图片描述

Overfitting 与 Tree Pruning
有一些branches反应的是anomalies或者noise或者outliers
在这里插入图片描述
黑线比绿线好

对overfitting的两种approaches

Prepruning:
在这里插入图片描述
threshold难选

Postpruning:

在这里插入图片描述
用另一组数据来剪枝（用的更多）

决策树的优点：

  1. 学习速度快
  2. 可以转化成简单易理解的分类条件
  3. 容易用SQL实现
  4. 可接受的分类准确率

Bayes Classification Methods

在这里插入图片描述
朴素贝叶斯分类器的一个示例：
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
朴素贝叶斯的优点：
容易实现，结果优秀
缺点：变量往往不是独立的
在这里插入图片描述
可以用贝叶斯 Bayesian Belief Networks来部分解决上述问题

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

数据挖掘学习笔记
codexxs 的博客
04-21 3329
第一章 python基础 1.4 python基本数据类型 #1.41数值类型 int,float,bool(True) #1.42字符串str s1='abcd' s2='''ab cd''' 1.4.3列表List L1=[1,'a1',2,'aa'] #[1, 'a1', 2, 'aa'] 1.4.4元组Tuple 处在元组中的元素不能修改 T1=(1,'a1') T1=(1,'C1','A1') #(1, 'C1', 'A1') T1[1]=2 # 'tuple' object
《数据挖掘与大数据分析》课堂学习笔记-10 第五章 聚类
一碗菜粥的博客
04-12 466
聚类分析是常见的数据挖掘手段 本课来进行一个简单的学习
数据挖掘研究现状及最新进展
05-03
数据挖掘技术随着计算机软、硬件的进步，人们利用信息技术产生和搜集数据的能力大 幅度提高。数以千万计的数据库被用于商业管理、政府办公、科学研究和工程 丌发等方面，收集工具的进步使我们拥有了海量的数据。面对这些数据，急需 一些新的工具和技术，解决由此带来的“数据丰富，信息贫乏”的问题，数据 挖掘技术应用而生。
PyTorch：Digit Recognizer比赛后续-数据增强
Yan
02-06 379
背景 上次利用PyTorch做了一个模型以后，训练的结果只有94%左右，并不是特别好。本次进行了一些改进： 增加训练次数 添加数据增强 代码链接： https://www.kaggle.com/yannnnnnnnnnnn/kernel5d66c76231 version9 结果： 方法 1、增加训练次数 这个没啥好说的，直接修改epoch=30即可。 2、增加数据增强 增加数据增强，首先...
数据挖掘技术现状及未来发展方向（转）
热门推荐
fa7alr的专栏
07-16 2万+
1. 数据挖掘的含义 近十几年来，信息数据增长之巨大已到了令人咂舌地步，大型数据库、数据仓库被用于商业管理、政府办公、科学研究和工程开发等等。于是，我们又面临了新的问题：如何从中及时发现有用的知识，提高信息利用率？要想使数据真正成为一个公司的资源，只有充分利用它为公司自身的业务决策和战略发展服务才行，否则大量的数据只能成为包袱，甚至垃圾。因此，数据挖掘技术应运而生。 数据挖掘出现于20世纪80
大数据分析与数据挖掘课堂笔记-2
qq_46106830的博客
09-17 492
数据预处理必要性 原始数据问题：-数据清洗 数据不一致 噪声数据：明显错误，异常值 数据缺失 整理数据使其适合数据分析与挖掘工具-数据规约 数据清洗 1.缺失值处理： 1.1舍 忽略元组（分类问题中数据标签丢失，重要的数据丢失） 一条记录中某些属性缺失，则将该条记录丢弃。 忽略属性/字段（非必须的、独立性较低的属性字段） 某个属性缺失过多70%以上，这个属性就不要了 1.2补 使用中心度量值填充：对称分布用均值填充，倾斜分布用中位数填充 使用全局常量填充：0或一些标准值 使用可
数据分析和数据挖掘——复习笔记
xtsaixuexi的博客
07-20 304
自食用 学的不好， 欢迎指正交流
10月11日数据挖掘课堂笔记完善
qq_38265735的博客
10-11 230
10.11社会学 什么是社会问题 社会问题是由于社会关系或社会环境失调，致使人类全体（如人口过多、环境破坏、战争）、国家整体（如社会保障缺失、失业、贫富悬殊、歧视）或相当一部分成员（如家庭暴力、霸凌、性侵害）的共同生活受到不良影响，社会进步发生障碍并需要运用社会力量才能加以解决的社会现象 影响相当数量的人，违背社会主导价值和规范的客观事实，社会问题的产生与人的道德有关，同时社会问题可以改变。 ...
从零开始的《数据挖掘与大数据分析》课堂学习笔记-4 认识数据与数据预处理 完结 开始新章节——关联数据挖掘
一碗菜粥的博客
03-12 412
承接上个 学习笔记3 我们依旧在进行 数据预处理相关概念的学习 且 开启了第三章 关联数据挖掘 的学习 8.数据预处理相关知识点 8.1 信息增益 这块儿 知乎上大佬们说的是真心好 如果日后需要重点学习 点进来看就完事了 咋个理解信息增益 定义 熵：表示随机变量的不确定性 条件熵：表示在一个条件下 随机变量的不确定性 信息增益——熵-条件熵：表示在一个条件下 信息不确定性减少的程度。 举个例子 X(明天下雨)是一个随机变量，Y(明天阴天)也是随机变量。 X的熵可以算出来，在阴天情况下下雨的信息熵我们如
k-means-课堂笔记
zyh960的博客
08-08 1万+
什么是K-means？ K-means是一种非监督学习，解决的是聚类的问题。 K代表的是K类，means代表的是中心，一般K-means主要的是思路分三步走： 如何确定K类的中心点 如何将其他点划分到K类中 如何区分K-means与KNN？ K-means的工作原理 选取K个点作为初始的类的中心，这些点一般都是从数据集随机抽取的 将每个点分配到最近的类中心点，这样就形成了K个类，然后重新计算每个类的中心点 重复第二步，直到类不发生变化，或者你也可以设置最大迭代次数，这样即使类中心点发生变化，但是只要达
数据挖掘完整项目/课堂记录笔记/比赛代码
09-20
本项目提供了从零基础到精通的数据挖掘全过程，旨在帮助学习者掌握实际操作技能，并通过课堂记录笔记和比赛代码来深化理解。 首先，我们关注的是"海量数据挖掘"。在当今大数据时代，数据量呈指数级增长，传统的数据...
从零开始的《数据挖掘与大数据分析》课堂学习笔记-5 第三章 关联数据挖掘
一碗菜粥的博客
03-15 1335
文章目录第三章 关联数据挖掘首先明确本章需要学习掌握的内容几个重要概念关联规则挖掘算法关联规则评估（理解）1.什么是关联规则挖掘？经典例子——购物篮分析其他应用举例[考点]数据集中支持度的计算频繁项集项集支持度计数 support count支持度 support[考点]关联规则的强度——置信度和支持度的计算关联规则衡量关联规则的强度——支持度 置信度2.挖掘关联规则的一般步骤1.**频繁项集产生**（Frequent Itemset Generation）Brute-force 方法降低产生频繁项集计算复
从零开始的《数据挖掘与大数据分析》课堂学习笔记-1 前言&第一章“数据挖掘与大数据分析简介”片段
一碗菜粥的博客
03-01 1359
本文目录写在前面整装待发0.初步了解大数据 数据分析 数据挖掘0.1 大数据（big data）0.2 数据分析0.3 数据挖掘0.4 大数据 数据分析 数据挖掘的关系1.学习方法2.进一步学习&研究3.课程内容3.1 数据挖掘3.2 大数据分析4 课程意义5.理论学习环节第一章 数据挖掘与大数据简介第二章 认识数据与数据预处理第三章 关联数据挖掘第四章 分类/回归第五章 聚类分析和噪声检测第六章 大数据分析6.实践环节实验一 数据预处理及WEKA(JAVA使用的库)实验二 关联规则挖掘算法实验三
(源码)基于C语言的SmartPlugModbus固件项目.zip
04-02
# 基于C语言的SmartPlugModbus固件项目 ## 项目简介 该项目是一个基于C语言的固件项目，旨在实现一个支持Modbus RTU通信协议的智能设备固件。该固件被设计为与SmartPlugModbus设备配合使用，用于控制和管理多个电源插座，提供过流、欠流、过压、欠压和过热保护，同时监控插座状态和电压、电流等参数。 ## 项目的主要特性和功能 1. Modbus RTU通信协议支持固件实现了Modbus RTU通信协议，允许通过Modbus协议与设备进行通信，包括读取和写入设备参数、状态和控制命令。 2. 多插座控制固件支持控制多个电源插座，包括开启、关闭、查询状态等。 3. 保护功能设备提供过流、欠流、过压、欠压和过热保护，防止设备损坏和安全事故。 4. 参数配置通过Modbus协议，用户可以配置设备的保护参数，如电流、电压限制等。
毕设单片机实战项目基于ESP8266 Mesh SDK开发，通过HSPI与STM32通讯.zip
04-02
【项目资源】： 单片机项目适用于从基础到高级的各种项目，特别是在性能要求较高的场景中，比如操作系统开发、嵌入式编程和底层系统编程。如果您是初学者，可以从简单的控制台程序开始练习；如果是进阶开发者，可以尝试涉及硬件或网络的项目。 【项目质量】： 所有源码都经过严格测试，可以直接运行。 功能在确认正常工作后才上传。 【适用人群】： 适用于希望学习不同技术领域的小白或进阶学习者。 可作为毕设项目、课程设计、大作业、工程实训或初期项目立项。 【附加价值】： 项目具有较高的学习借鉴价值，也可直接拿来修改复刻。 对于有一定基础或热衷于研究的人来说，可以在这些基础代码上进行修改和扩展，实现其他功能。 【沟通交流】： 有任何使用上的问题，欢迎随时与博主沟通，博主会及时解答。 鼓励下载和使用，并欢迎大家互相学习，共同进步。 # 注意 1. 本资源仅用于开源学习和技术交流。不可商用等，一切后果由使用者承担。 2. 部分字体以及插图等来自网络，若是侵权请联系删除。
毕业设计物联网实战项目基于龙芯派的物联网食品仓储监测系统.zip
04-02
【项目资源】： 物联网项目适用于从基础到高级的各种项目，特别是在性能要求较高的场景中，比如操作系统开发、嵌入式编程和底层系统编程。如果您是初学者，可以从简单的控制台程序开始练习；如果是进阶开发者，可以尝试涉及硬件或网络的项目。 【项目质量】： 所有源码都经过严格测试，可以直接运行。 功能在确认正常工作后才上传。 【适用人群】： 适用于希望学习不同技术领域的小白或进阶学习者。 可作为毕设项目、课程设计、大作业、工程实训或初期项目立项。 【附加价值】： 项目具有较高的学习借鉴价值，也可直接拿来修改复刻。 对于有一定基础或热衷于研究的人来说，可以在这些基础代码上进行修改和扩展，实现其他功能。 【沟通交流】： 有任何使用上的问题，欢迎随时与博主沟通，博主会及时解答。 鼓励下载和使用，并欢迎大家互相学习，共同进步。 # 注意 1. 本资源仅用于开源学习和技术交流。不可商用等，一切后果由使用者承担。 2. 部分字体以及插图等来自网络，若是侵权请联系删除。
(源码)基于嵌入式系统的StackAttack游戏项目.zip
04-02
# 基于嵌入式系统的StackAttack游戏项目 ## 项目简介 StackAttack是一个基于嵌入式系统的游戏项目，设计用于SPI TFT彩色液晶显示面板上运行。游戏的核心玩法是操控一个名为“Claw”（爪子）的游戏角色，在由格子组成的地图上移动并抓取箱子。玩家通过操纵杆控制游戏角色，成功抓取并移动箱子到目标位置后得分。游戏地图由二维数组表示，每个格子代表一个位置。当玩家成功将所有箱子移动到目标行时，游戏结束。 ## 项目的主要特性和功能 1. 游戏角色控制玩家通过操纵杆控制Claw（爪子）角色移动。 2. 地图和箱子管理游戏地图由二维数组表示，每个格子代表一个位置。箱子在游戏地图上的位置由数组中的值表示。 3. 游戏逻辑包括角色的移动、箱子的抓取和移动、得分计算等。 4. 图形显示使用SPITFTILI9341图形库控制SPI TFT显示屏，实现游戏的图形输出。 5. 暂停功能游戏支持暂停功能，方便玩家随时暂停游戏。
【嵌入式系统与计算机视觉】基于STM32、OpenCV和CNN的车牌识别系统：社区车辆管理与收费应用
最新发布
04-02
内容概要：本文档提供了基于STM32、OpenCV和卷积神经网络的车牌识别系统的完整代码示例。系统通过摄像头捕捉视频流，利用OpenCV进行图像处理（如灰度化、二值化、轮廓检测等）以定位车牌区域，并使用预训练的ONNX模型对车牌字符进行识别。之后，系统将识别到的车牌号与预先存储在CSV文件中的居民车牌数据库进行匹配，以判断车辆是否为小区居民所有，从而实现对外来车辆的收费管理。; 适合人群：对嵌入式系统开发、计算机视觉和深度学习感兴趣的开发者，尤其是有一定C++编程基础和技术背景的研究人员或工程师。; 使用场景及目标：①适用于社区、停车场等场所的车辆管理；②帮助开发者理解车牌识别的基本流程，包括图像预处理、车牌定位、字符识别以及与数据库的交互；③提供一个可扩展的基础框架，便于后续优化和功能增加。; 阅读建议：读者应确保具备基本的OpenCV库使用经验和C++编程能力。在学习过程中，建议同时参考相关文献资料，深入理解每个步骤背后的原理，并尝试调整参数或替换模型以提高识别精度。此外，还需准备相应的硬件设备（如摄像头）和软件环境（如安装OpenCV库），以便实际运行代码并观察效果。
fregefffewfw
04-02
efwfw
实战数据挖掘项目笔记与代码完整分享
资源摘要信息:"数据挖掘完整项目/课堂记录笔记/比赛代码" 数据挖掘是利用算法和统计学方法，从大量的数据中提取有价值信息的过程。本资源集包含了从零基础到精通数据挖掘的全过程内容，既适合想要系统学习数据挖掘...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值