一碗菜粥的博客

数据挖掘复习笔记~

文章目录作业内容#1.什么是数据挖掘？数据挖掘的定义数据挖掘与数据分析的区别2.数据挖掘的主要任务有哪些？老师ppt中给出的内容数据挖掘的应用场景1.教育领域2.风控领域3.医疗领域数据挖掘具体负责的任务1.分类与回归2.聚类3.关联规则4.时序模型5.偏差检测3.以下哪些不属于数据中心趋势描述？4.计算表格中对象之间的相异性矩阵归一化处理欧几里得距离曼哈顿距离5.分析X与Y是否强相关6.教育工作者收集了学生的一些信息，希望知道IQ或者EQ对学生的成绩影响最大作业内容在完成其中与数学关系比较紧密的几题（

1.KNN算法即最邻近结点算法 / K-MEANS算法 / K均值聚类算法1.1 KNN算法原理：KNN属于lazy learning —— 不会对训练样本数据进行学习对一个新数据 计算它与训练集中数据的距离 选择最短的k个作为邻居 然后预测新数据的类别和k个邻居中一致性最多的所属类别。1.2 KNN算法的优点经典算法，简单、快速。对处理大数据集，该算法是相对可伸缩和高效率的。有新数据不用重新聚类了~所以是相对可伸缩的1.3 KNN算法的缺点必须事先给出k对初始值敏感不

聚类分析是常见的数据挖掘手段本课来进行一个简单的学习

文章目录4.4 支持向量机 SVM1.SVM的优势2.SVM特点3.线性可分与不可分问题4.支持向量机间隔最大化的思想：5.线性分类器6.SVM分类器7.拉格朗日对偶算法7'.对偶问题的求解8.线性不可分9.核函数3.人工神经网络3.1 神经网络的历史3.2 人工智能三大流派4.4 支持向量机 SVM即为support vector machine1.SVM的优势解决小样本非线性高模式识别2.SVM特点是建立在统计学习理论的 VC维理论 和 结构风险最小 原理基础上的根据有限的样本信

文章目录0.关注我的公众号~ 一起学习1.实验主要内容2.重要概念关联规则挖掘关联规则的形式支持度置信度频繁项集3.挖掘关联规则的步骤【1】频繁项集的产生【2】规则的产生4.进行关联规则挖掘的方法【1】拿到一个数据集，首先——【2】减少候选项集的数量【3】减少比较的次数【4】总之我们选择apriori算法5.Apriori算法性质候选项集产生&测试的方法6.先验算法的重要细节7.举2个例子7.1 例一7.2 例二8.频繁项集到规则产生怎样有效地从频繁项集中产生关联规则？关联规则的提取9.坐等实验报告

文章目录第四章 分类分类基本概念预测任务模型分类生成模型判别模型经典分类方法决策树引入：高尔夫问题小结第四章 分类分类基本概念分类是一种数据分析形势，它提取刻画重要数据类的模型，这种模型叫分类器。之后模型会进而预测分类的（离散的、无序的）类标号。总而言之，分类属于 预测任务预测任务所以我们自然而然地引入了 什么是预测任务？一般一个预测任务分成两个阶段模型分类生成模型希望从数据中心学习/还原出 原始的真实数据生成模型。常见的方法：学习数据的联合概率分布（一般会假设一下联合概率分布）

本实验的实验报告以及相关数据集和处理数据所用代码都放在下面这个资源链接之中认识数据与进行数据预处理的实验实验内容和目的：根据老师给出的代码进行复现和运行，实现——对一个数据集进行分析，包括归一化操作、缺失值处理、特征筛选，从而达到认识数据并进行数据预处理的目的。实验数据及结果分析：1.归一化处理在拿到一个数据集之后，我们通常会对数据集进行归一化处理【1】首先我们引入需要的包【2】之后我们在主函数中进行设置——对数据的归一化操作：读取数据：对数据进行归一化操作的函数【3】主函数 读取i

在关联规则挖掘这一章中，Apriori算法是非常重要的~之后本章的实验中也要实现——理解&自己编程实现Apriori算法（所以要好好学一下哈~）为啥需要Apriori算法呢？——在关联规则挖掘中，要产生频繁项集，要产生规则（从上一步发现的频繁项集中提取所有高置信度的规则——强规则）Apriori算法不同于蛮力方法(Brute-force法），先验原理（Apriori算法）可以减少候选项集的数量下面转载一个质量非常高 且 与课程契合度也比较高的文章~...

文章目录第三章 关联数据挖掘首先明确本章需要学习掌握的内容几个重要概念关联规则挖掘算法关联规则评估（理解）1.什么是关联规则挖掘？经典例子——购物篮分析其他应用举例[考点]数据集中支持度的计算频繁项集项集支持度计数 support count支持度 support[考点]关联规则的强度——置信度和支持度的计算关联规则衡量关联规则的强度——支持度 置信度2.挖掘关联规则的一般步骤1.**频繁项集产生**（Frequent Itemset Generation）Brute-force 方法降低产生频繁项集计算复

承接上个 学习笔记3 我们依旧在进行数据预处理相关概念的学习且 开启了第三章 关联数据挖掘 的学习8.数据预处理相关知识点8.1 信息增益这块儿 知乎上大佬们说的是真心好如果日后需要重点学习点进来看就完事了咋个理解信息增益定义熵：表示随机变量的不确定性条件熵：表示在一个条件下 随机变量的不确定性信息增益——熵-条件熵：表示在一个条件下 信息不确定性减少的程度。举个例子X(明天下雨)是一个随机变量，Y(明天阴天)也是随机变量。X的熵可以算出来，在阴天情况下下雨的信息熵我们如

文章目录第二章 认识数据与数据预处理1.主要内容2.基本概念3.数据记录3.1 数据矩阵3.2 文档数据3.3 事物数据4.有序数据——==时间序列数据==5.可视化6.数据的相似性/相异性1.标称属性数据2.二元变量属性数据7.数据预处理7.1 为什么要进行数据预处理？7.2 数据预处理的主要任务7.3 如何做到数据预处理7.4 数据预处理的具体实现步骤7.5 小结第二章 认识数据与数据预处理1.主要内容一、认识数据属性类型数据的统计描述相似性度量二、数据预处理为什么进行预处理数据？

本文导读5.数据挖掘的意义举个栗子——流感预测举个栗子——零售商店降低库存成本举个栗子——银行市场分析与管理从事数据挖掘工作一般需完成什么任务数据挖掘的定义6.数据挖掘在知识发现这一过程中的作用知识发现过程7.数据挖掘的主要任务接上篇文章更多本系列文章见专栏~5.数据挖掘的意义举个栗子——流感预测如何预测？——找出流感关键字眼 放进数学模型 预测得到流感的一些相关资料。比如03-08年的H1N1病毒 09年有几个工程师 用5000w个关键字&4.5亿个数学模型 进行“预测” 结果与真实

本文是数据挖掘学习课堂笔记的一个补充~是一个了解级别的文章 欢迎各位大佬指出不足的地方文章目录数据挖掘的定义数据挖掘与数据分析的区别数据挖掘的应用场景1.教育领域2.风控领域3.医疗领域数据挖掘存在的问题本文参考了CSDN博主 ”中琛源科技“的文章也是对这篇文章进行更小白化的一个总结如果希望看到更多细节 可以点击下面链接~什么是数据挖掘 有什么作用文章开始前先放个关系图~此图展示了 数据科学 大数据 人工智能几大领域之间的联系~数据挖掘的定义数据挖掘（Data Mining）是指通过大

本文是数据挖掘学习课堂笔记的一个补充~是一个了解级别的文章 欢迎各位大佬指出不足的地方目录大数据大数据的定义大数据的分析方法机器学习机器学习的定义机器学习的范围几个热门领域与机器学习的关系机器学习的方法1.回归算法2.神经网络3.SVM（支持向量机）4.聚类算法5.降维算法6.推荐算法7.梯度下降法8.牛顿法9.BP算法10.SMO算法总结机器学习算法分类监督学习算法无监督学习算法特殊算法机器学习与大数据之间的关系写在后面要想了解 大数据 机器学习 之间的关系1.我们首先需要了解大数据与机器学习的定

本文目录写在前面整装待发0.初步了解大数据 数据分析 数据挖掘0.1 大数据（big data）0.2 数据分析0.3 数据挖掘0.4 大数据 数据分析 数据挖掘的关系1.学习方法2.进一步学习&研究3.课程内容3.1 数据挖掘3.2 大数据分析4 课程意义5.理论学习环节第一章 数据挖掘与大数据简介第二章 认识数据与数据预处理第三章 关联数据挖掘第四章 分类/回归第五章 聚类分析和噪声检测第六章 大数据分析6.实践环节实验一 数据预处理及WEKA(JAVA使用的库)实验二 关联规则挖掘算法实验三