数据挖掘笔记

最新推荐文章于 2024-06-10 16:53:44 发布
最新推荐文章于 2024-06-10 16:53:44 发布
阅读量458 收藏
点赞数
文章标签： 数据挖掘 人工智能 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ljc_1999/article/details/125125078
版权

特征选择

Entropy

不确定性最高 熵为1
信息熵公式

Information Gain = H(S) - H(S|X) 越大越好

如何选择多个属性中最优的属性 Subset Search

Branch and Bound分支定界
假设特征集合U，其真子集t，t的效能永远小于U的效能。

最好的属性的集合不一定是最好的subset。
本质上是一个优化问题。

特征提取

主成分分析 PCA

同样的物体从不同角度看，差别可能很大，这让我想起了规模中的一句话，在这个维度上的一个不起眼的特征，在另一个维度可能会很重要。
不同的特征提取保留的有效信息是不同的，不同的投影方式会损失不同的信息。去除数据之间相关性

Y=PX P旋转矩阵
S(Y) = [1/(n-1)]YYT
YYT = (PX)(PX)T = PXXTPT
XXT = QDQT
(n-1)S(Y) = PXXTPT = PQDQTPT = (PQ)D(PQ)T
P=QT
把原始数据投影到特征向量上（特征值最大的那几个特征向量）
对于多分类问题无法解决，会把多类数据杂糅到一起

箱图

盒图
四分位数Quartiles, 离群点outliners
四分位数Q1(25th百分位数percentile)，Q3(75th)
中间四分卫数极差Inter-quartile range:IQR=Q3-Q1
五数概括：min，Q1，median，Q3，max
盒图：盒两端为四分位数；中位数标记；添加胡须，离群点独立标出
离群点：通常是值高/低于四分位数1.5×IQR
盒子高度为IQR

数据集合的类型

记录Record

  • 关系记录

  • 数据矩阵

  • 交易数据

  • 文档数据：文档文本：词频向量

图and网络

  • 万维网

  • 社会或信息网络

  • 分子结构Molecular Structures

有序的Ordered

  • 视频数据：sequence of images

  • 时间数据：时间序列time-series

     - 特殊的时序数据，其中每个记录都是一个时间序列（time series），即一段时间的测量序列
 - 时间自相关（temporal autocorrelation），即如果两个测量的时间很接近，这些测量的值通常非常相似

  • 序列数据：交易序列transaction sequences
    - 记录数据的扩充
    - 时间次序重要，但具体时间不重要
    - 例：事务序列

  • 遗传序列数据
    - DNA都由4种核苷酸A、T、G、C构造
    - 没有时间标记，但与时序数据类似
    - 重要的是在序列中的位置

  • 空间，图像image and 多媒体multimedia：
    - Spatial data:maps
    - Image data
    - Video data

数据类型

现实当中从数据库取出的数据类型可能是标称、数值、二元、序数等数据类型的组合。这种组合属性对象相似度最简单的方法是分别计算每个属性之间的相似度，然后取他们的平均值
对于取值非对称属性，分别计算相似度累加取均值方法失效。

挖掘挽联规则

  • 关联规则挖掘
  • 频繁项集挖掘算法
  • 哪些模式是有趣的：模式评估方法

关联规则

关联规则反映一个事物与其他事物之间的相互依存性和关联性。如果两个或者多个事物之间存在一定的关联关系，那么其中一个事物就能够通过其他事物预测到
典型的关联规则发现问题是对超市中的货篮数据进行分析。通过发现顾客放入货篮中的不同商品之间的关系来分析顾客的购买习惯

  • 最小支持度 表示规则中的所有项在事务中出现的频度

关联规则挖掘

  • 首先被Agrawal，Imielinski and Swami在1993年的SIGMOD会议上提出
  • 在事务、关系数据库中的项集和对象中发现频繁模式、关联规则、相关性或者因果结构
  • 频繁项集：数据库中频繁出现的项集，支持度大于某个阈值的项集（满足最小支持度的项集）
  • 关联规则表示了项之间的关系：cereal，milk—> fruit 买谷类食品和牛奶的人也会买水果 ，商店可以把牛奶和谷类食品作特价品以使人们买更多的水果
  • 频繁模式：数据库中频繁出现的模式（项集、序列，等等）

支持度、置信度

支持度(s)：

参考博文：

  • https://blog.csdn.net/DD18203614685/article/details/98057386
  • https://blog.csdn.net/weixin_43715458/article/details/94405860
    支持度
    支持度就是我们所有分析的交易中，某两种(若干种)商品同时(同单或者单独一次独立的交易)被购买的概率(比率)。选择支持度的目的就是找出同时被购买的商品，可以提高推荐转换率，从而增加收入。那么可以选出支持度最高的前n对

置信度(可信度，c)

购买x的人，同时购买y的概率
置信度

强关联规则

强规则通常定义为哪些满足最小支持度和最小可信度的规则（用户给定的阈值）

最小支持度、最小置信度

参考文章：https://www.zhihu.com/question/22574269/answer/274397886

根据训练数据和场景的接受程度来给定。这两个阈值给定的越大，得到的相关性item越好，但item数量也会越少。

发现关联规则

发现关联规则需要经历如下两个步骤：

  • 找出所有频繁项集
  • 由频繁项集生辰满足最小信任度阈值的规则

频繁项集挖掘算法

一般而言，一个包含k个项的数据集可能产生2k-1个频繁项集，不包括空集在内

频繁项集产生

先验原理
其基本思想：如果一个项集是频繁的，则他的所有子集一定也是频繁的。反之，如果一个项集是非频繁的，则它的所有超集也一定是非频繁的。
一旦发现{a,b}是非频繁的，则整个包含{a,b}超集的子图可以被立即剪枝。即基于支持度的剪枝
基于支持度的剪枝

Apriori算法的步骤

  • Apriori算法命名源于算法使用了频繁项集性质的先验知识
  • Apriori算法将发现关联规则的过程分为两个步骤：
    • 通过迭代，检索出事务数据库中的所有频繁项集，即支持度不低于用户设定的阈值的项集
    • 利用频繁项集构造出满足用户最小信任度的规则
    • 挖掘或识别出所有频繁项集是该算法的核心，占整个计算量的大部分
  • 为了避免计算所有项集的支持度（实际上频繁项集只占很少一部分），Apriori算法引入潜在频繁项集的概念
  • 若潜在频繁k项集的集合记为Ck，频繁k项集的集合记为Lk，m个项目构成的k项集的集合为Ckm,则三者之间满足关系
    潜在频繁k项集
  • 构成潜在频繁项集所遵循的原则是“频繁项集的子集必为频繁项集”
    潜在频繁k项集的集合Ck是指由有可能成为频繁k项集的项集组成的集合
  • 以后只需计算潜在频繁项集的支持度，一定程度上减少了计算量

Apriori剪枝原则

  • 如果一个项集不是频繁的，将不产生/测试它的超集！
    剪枝
    Apriori步骤
  1. 扫描整个数据集，得到所有出现过的数据，作为候选频繁1项集。k=1，频繁0项集为空集。
  2. 挖掘频繁k项集
    • 扫描数据计算候选 频繁k项集的支持度
    • 去除候选频繁k项集中支持度低于阈值的数据集，得到频繁k项集。如果得到的频繁k项集为空，则直接返回k-1项集的集合作为算法结果，算法结束。如果得到的频繁k项集只有一项，则直接返回频繁k项集的集合作为算法结果，算法结束。
    • 令k=k+1，转入步骤2。

由频繁项集产生关联规则

根据公式产生关联规则（置信度）

  • 对于每个频繁项集l，产生所有非空子集
  • 对于l的每个非空子集s，如果大于最小置信度则输出规则s->(l-s)
    在这里插入图片描述

怎样有效的从频繁项集中产生关联规则

  • 一般，计算关联规则的置信度并不需要再次扫描事物数据库。规则{A、B、C}–>{D}的置信度为σ(ABCD)/ σ(ABC)因为这两个项集的支持度计数已经在频繁项集产生时得到，因此不必再扫描整个数据集
  • 如果规则X->Y-X不满足置信度阈值，则形如X‘->Y-X’的规则一定也不满足置信度阈值

Gini指数

https://blog.csdn.net/qq_45060674/article/details/117304686
表示样本集合中一个随机选中的样本被分错的概率
Gini
Gini指数越小表示集合被选中的样本被分错的概率越小，即集合的纯度越高。反之，集合越不纯。当集合中所有样本为一个类时，基尼指数为0。

决策树

每个内部结点表示对一个属性(取值)的测试，
每个分支代表一个测试输出
每个叶节点代表一个类或类分布，树的最顶层节结点是根结点
决策树

决策树剪枝

树的主体建好后，需要对其进行剪枝
决策树的剪枝一般是通过极小化决策树整体的损失函数或代价函数来实现
决策树剪枝常用的方法有两种：预剪枝和后剪枝

预剪枝

预剪枝是根据一些原则尽早停止树的增长，如树的深度达到用户所要的深度、节点中样本个数少于用户指定个数等。预剪枝在建立树的过程中决定是否需要继续划分或分裂训练样本来实现提前停止树的构造，一旦决定停止分枝，就将当前节点标记为叶节点。

后剪枝

后剪枝是通过在完全生长的树上剪去分枝实现的，通过删除节点的分枝来剪去树节点。

算法https://blog.csdn.net/qq_45060674/article/details/117304686

Hunt’s Algorithm（基础）
贪心策略，局部最优决策，构造次最优决策树、决策树算法的基本思想

K-means算法

  1. 任意选择k个对象作为初始的簇中心
  2. repeat
  3. 根据簇中对象的平均值，将每个对象（重新）赋给最类似的簇；
  4. 更新簇的平均值，即重新计算每个簇中对象的平均值；
  5. until不再发生变化
    通常，采用平方误差准则作为收敛函数，
    平方误差准则
    其中，mi是簇Ci的平均值
    指派点到最近的质心

如何度量？

  • 欧式空间的点：欧式距离
  • 文档：余弦距离，Jaccard距离
  • 曼哈顿距离：d = |x1-x2| + |y1-y2|
    减少相似度计算，加速k均值计算：
  • 二分均值

质心和目标函数：
质心：随着数据邻近性度量和聚类目标不同而改变
目标函数：依赖于点之间、点到簇质心的邻近性。

选择初始质心
当质心随即初始化后，k均值的不同运行将产生不同的聚类结果
最优聚类次优聚类

k均值优点：

  • 对于处理大数据集，该算法是相对可伸缩和高效的，因为他的算法复杂度是O(tkn)，其中，n是对象数目，k是簇数目，t是迭代次数，通常k，t<<n
  • 当结果簇是密集的，簇与簇之间区别明显，效果较好
  • Comment：不能保证收敛于全局最优解，常常终止于一个局部最优。结果可能依赖于初始簇中心的随机选择
  • 全局最优可以使用诸如确定性的退火和遗传算法等技术得到

k均值弱点：

  • 只有在簇平均值被定义的情况下才能使用
  • 可能不使用于某些应用，例如涉及有分类属性的数据
  • 需要预先指定簇的数目k
  • 不能处理噪音数据和孤立的点，因为少量的这类数据能够对均值产生极大的影响
  • 不适合用来发现非凸形状（non-convex shapes）的簇，或者大小差别很大的簇
  • k均值对孤立点很敏感
ljc_1999
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
数据挖掘---数据处理
dollyh的博客
09-23 1197
大致流程：问题分析（需求分析）,数据预处理（数据清洗，数据集成，数据归约），特征选择，模型选择（方案设计），模型求解，模型评估，模型解释，写成报告形式，展示。 先撇开问题分析不说，数据预处理是数据分析挖掘最重要也是最基本的步骤。因为数据的质量往往能决定结果的质量。所以本篇先不谈各种数据挖掘算法，先做好数据预处理的基本功才是最重要的。只做总结，不作细说一、认识数据 首先对数据进行一些基本的描述性统
数据挖掘笔记041
08-03
数据挖掘中的数据立方体是一种用于分析大量多维数据的高效工具，尤其在在线分析处理（OLAP）中广泛应用。数据立方体的构建是数据仓库和OLAP系统的核心组成部分，它能够快速响应用户的多角度查询，提供决策支持。 ...
数据挖掘技术-绘制箱线图
u011062044的博客
10-19 949
label2 = ['农业','工业','建筑','批发','交通','餐饮','金融','房地产','其他']## 标签2。label1 = ['第一产业','第二产业','第三产业']## 标签1。label= ['第一产业','第二产业','第三产业']##定义标签。plt.title('2000-2017各产业国民生产总值箱线图')plt.title('2000-2017各产业国民生产总值箱线图')plt.title('2000-2017各行业国民生产总值箱线图')
算法 | 剪枝函数以及几种形式&回溯法和分支限界法的区别&算法特性&分支限界法的思想&分支限界法的基本步骤&Prim和Kruscal&回溯法的效率
最新发布
不问过去，无论将来
06-10 963
这是摘要
数据挖掘-盒图
10-28 2967
数据挖掘---探索数据篇
charcle的专栏
04-13 1589
 探索数据是对数据进行初步研究,以便更好的理解它的特殊性质,有助于选择合适的数据预处理和数据分析技术。一。汇总统计汇总统计是量化的，用单个数或数的小集合捕获可能很大的值集的各种特征。1。频率和众数是描绘无序的、分类的值的集合。给定一个在{v1,v2...,vi,...,vk}上取值的分类属性x和m个对象的集合，值vi的频率定义为：frequency(vi)=具有属性值vi的对象数/
盒装图
YZXnuaa的博客
04-18 658
二、demos from sklearn.datasets import load_iris import matplotlib.pyplot as plt import numpy as np iris = load_iris() data = iris.data target = iris.target data[:, 0] # data = [data, d2, d2[::...
数据挖掘笔记01-031
08-03
在数据挖掘笔记01-031中，主要涉及了数据预处理、SQL查询、在线分析处理（OLAP）以及了解数据等核心概念。 1. 数据预处理： 数据预处理是数据挖掘的关键步骤，它包括了数据清洗、数据集成、数据转换和数据规约四大...
数据挖掘笔记07-091
08-03
数据挖掘笔记07-091摘要 本节笔记主要讲解了数据挖掘中分类算法的两种主要方法：Classification I和Classification II。下面是本节笔记的详细知识点总结： Classification I 在Classification I中，我们讨论了三...
数据挖掘笔记11-121
08-03
这篇笔记主要涵盖了数据挖掘中的聚类分析，这是数据挖掘中无监督学习的一种重要方法。 1. 聚类分析简介：聚类分析是将数据集中的对象按照它们的相似性或距离进行分组，使得同一组内的对象彼此相似，而不同组之间的...
数据挖掘笔记思维导图1
08-04
数据挖掘是信息技术领域的一个关键分支，它涉及到从大量数据中提取有用信息，形成知识和洞察。数据挖掘的任务主要分为三类：分类、预测型任务和描述型任务。分类任务是根据已有特征将数据对象归入预定义的类别；预测...
数据挖掘作业2
qq_51302626的博客
03-23 2571
数据挖掘作业2 1.绘制正弦曲线，并设置标题、坐标轴名称、坐标轴范围 import numpy as np import matplotlib.pyplot as plt from pylab import mpl #设置字体 mpl.rcParams['font.sans-serif']=['FangSong'] mpl.rcParams['axes.unicode_minus']=False x = np.arange(0,2*np.pi,0.02) y = np.sin(x) plt.plot(x,y
数据挖掘——第二章：数据
平什么阿的博客
03-10 2048
文章目录1. 数据的属性1.1 数据对象1.2 属性1.3 属性类型1.4 离散属性vs连续属性2. 数据的基本统计描述2.1 中心趋势度量2.2 数据分散度量2.3 数据图形显示3. 数据的相似性和相异性3.1 数据矩阵与相异矩阵3.2 标称属性的临近性度量3.3 二进制属性的临近性度量3.4 数值属性的相异性3.5 序数属性的邻近性度量3.6 余弦相似性练习1练习2 1. 数据的属性 1.1 数据对象 数据集由数据对象组成。一个数据对象代表一个实体。 例如： 销售数据库: 顾客、 商品、销售 医疗数
matplotlib入门-盒图
Andy_shenzl的博客
06-29 520
盒图主要是看一个数据的分布情况，也适用于EDA异常值的查找 Q1是四分之一分为数 Q3是四分之三分为数 median中位数 IQR=Q3−Q1Q3-Q1Q3−Q1 基本图形 fig = plt.figure(figsize=(8,6)) plt.boxplot(data,notch=False,sym='s',vert=True) plt.xticks([y+1 for y in range(len(data))],['x1','x2','x3']) plt.xlabel('x') plt.titl
数据预处理——数据挖掘1
weixin_46443403的博客
02-13 1205
数据预处理，数据挖掘作业
多变量分析绘图（hue参数）以及盒图和小提琴图
weixin_30455023的博客
07-30 1293
1，函数stipplot（） 　　stipplot（）函数用来画散点图，其x轴是离散型的变量 　　直接上代码 　　 1 import seaborn as sns 2 import numpy as np 3 import pandas as pd 4 import matplotlib as mpl 5 import matplotlib.pyplot as plt...
八皇后-剪枝函数
u014660531的博客
08-28 1433
剪枝原理：用三个一维数组分别记录当前列，左上到右下，右上到左下是否有皇后。 public class MyMain { public static int N=8; public static int lat[] = new int[N+60]; public static int lon[] = new int[N+60]; public static int cur[]=new in
剪枝函数-----0-1背包问题(c++)
weixin_43348682的博客
11-24 2184
#include <iostream> using namespace std; #define N 100 //默认有99个物品。第一个不使用 int w[N]; //每个物品的重量 int v[N]; //每个物品的价值 int n,c; //n：一共有多少物品，c：背包的最大容量 in...
回溯法
weixin_34109408的博客
09-30 259
写法分类： --|递归：代码简便，耗费资源 --|迭代 ：相反 解空间分类： --|子集树 所给的问题是从n个元素的集合S中找出满足某种性质的子集时，相应的解空间成为子集树。如0-1背包问题，从所给重量、价值不同的物品中挑选几个物品放入背包，使得在满足背包不超重的情况下，背包内物品价值最大。它的解空间就是一个典型的子集树。 递归表达 void...
python数据挖掘笔记
08-25
Python数据挖掘学习笔记主要包括以下几个方面的内容：Python基础知识、Python爬虫技术、Python数据分析与数据挖掘。其中，Python基础知识部分介绍了Python编程语言的基本语法、数据类型、流程控制等内容，为数据挖掘的学习打下了基础。Python爬虫技术部分介绍了如何使用Python编写爬虫程序，从网页中获取所需数据。Python数据分析与数据挖掘部分则介绍了使用Python进行数据分析和数据挖掘的相关技术和工具。 在Python数据挖掘中，还涉及到一些扩展库的使用，可以使用pip或apt-get进行安装，例如numpy库可以使用命令"sudo pip install numpy"或"sudo apt-get install python-numpy"进行安装。 另外，Matplotlib是Python中最常用的绘图库之一，主要用于绘制二维图形，也可以绘制简单的三维图形。下面是一个使用Matplotlib进行简单绘图的示例代码： ```python import numpy as np import matplotlib.pyplot as plt x = np.linspace(0, 10, 1000) y = np.sin(x) z = np.cos(x ** 2) plt.figure(figsize=(8, 4)) plt.plot(x, y, label='$\sin x$', color='red', linewidth=2) plt.plot(x, z, 'b--', label='$\cos x^2$') plt.xlabel('Time(s)') plt.ylabel('Volt') plt.title('A Simple Example') plt.ylim(0, 2.2) plt.legend() plt.show() ``` 这段代码使用了numpy库生成了一组x轴的数据，然后分别计算了对应的y轴和z轴的数值。接下来使用Matplotlib进行绘图，其中plt.plot函数用于绘制曲线，plt.xlabel和plt.ylabel分别设置x轴和y轴的标签，plt.title设置图的标题，plt.ylim设置y轴的范围，plt.legend用于显示图例，plt.show用于显示图形。 通过学习这些内容，你可以掌握Python数据挖掘的基本知识和常用技术，为进一步的学习和实践打下坚实的基础。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* [python数据挖掘学习笔记](https://blog.csdn.net/yinghuoai/article/details/88392141)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"] - *2* *3* [python数据挖掘笔记](https://blog.csdn.net/djm82755/article/details/101452842)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值