数据的相似性

最新推荐文章于 2023-08-30 00:26:45 发布
最新推荐文章于 2023-08-30 00:26:45 发布
阅读量1k 收藏 4
点赞数 1
分类专栏： 数据可视化
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/klaseT/article/details/105258680
版权

相异性矩阵

衡量数据对象之间相关的程度
d(i,j)表示第i个数据与第j个数据之间的距离
在这里插入图片描述

计算数据之间的距离

类别属性

我们可以用失配比的方法进行计算。
两个数的失配比指它们中值 不相等 的属性个数占总属性个数的比例
在这里插入图片描述
如
在这里插入图片描述
计算距离时没有必要考虑都不存在的属性，可以使用一个称为jaccard相似系数的计算方法
在这里插入图片描述
如
在这里插入图片描述

数值属性

欧拉距离：两点间的直线距离
在这里插入图片描述
曼哈顿距离
在这里插入图片描述
在这里插入图片描述
切比雪夫距离
在这里插入图片描述
在这里插入图片描述
闵可夫斯基距离
在这里插入图片描述
当p=1时，就是曼哈顿距离
当p=2时，就是欧氏距离
当p→∞时，就是切比雪夫距离

klaseT
关注
  • 1
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
数据相似性的度量方法总结
guoziqing506的博客
10-30 4万+
现实中，我们需要处理的数据具有着不同的形式和特征。而对数据相似性的度量又是数据挖掘分析中非常重要的环节。针对这些不同形式的数据，不可能找到一种具备普遍意义的相似性度量算法，甚至可以说，每种类型的数据都有它对应的相似度度量标准。这些标准很多，也比较杂乱，有必要作以总结。
相似数据检测算法
javasalatu
10-22 477
相似数据检测算法对给定的一对数据序列计算两者之间的相似度([0,1], 1表示完全相同)或距离([0, ), 0表示完全相同)，从而度量数据之间的相似程度。相似数据检测在信息科学领域具有非常重要的应用价值，比如搜索引擎检索结果的聚类与排序、数据聚类与分类、Spam检测、论文剽窃检测、重复数据删除、Delta数据编码等应用。正是由于它的重要性，近年来成为了研究的重点，不断有新检测方法涌现并得到评估。...
数据相似性
深未来技术
02-07 236
首先模拟一些数据出来：假设有这样一些ID是1～5的条目，然后有几个人对他们看过的条目进行了评分（1～5），那么我们可能有这样的一组数据，格式是：人名：{条目ID：条目得分}＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝A：{1:3, 2:4, 4:3, 5:3}B：{1:2, 2:4, 3:4, 4:3}C：{2:4, 4:2, 5:4}...给定两个人，如何计算他们的相似度，比如，在B和C里，谁和A的评分...
数据处理之相似度
BaiTianio的博客
08-29 867
一、相似度计算 相似度计算常用的有： 欧几里得距离（Eucledian Distance）或称 欧氏距离 余弦相似度 （Cosine Similarity） 杰卡德相似系数（Jaccard Similarity coefficient） 皮尔逊相关系数（Pearson correlation） 下面分别来介绍 1.欧几里得距离 欧氏距离在现实空间（3维）中就是我们理解的距离，使用欧氏距离计算相...
数据分析相似性以及原理解读(cos相似度)
Alan的博客
12-02 3213
为什么写这篇文章 最近几个月一直在做内容咨询平台，然后有人提议用cos公式计算用户偏好度，我就感觉有点疑惑，这个公式不是计算相似度的吗？拿这个公式怎么能突出用户的偏好？最多反应A、B两个用户都看这篇文章，但不能体现谁更加喜欢看，然后自己就写了一个计算COS相似度的程序，顺便整理一下其中的原理写成博客分享给大家。 ∑i=1n(xi×yi)∑i=1n(xi)2×∑i=1n(yi)2 \frac{\sum_{i=1}^{n} (x_i \times y_i)}{\sqrt{\sum_{i=1}^{n}{(x_i)
bio_CW4.rar_数据相似性_文档相似度
07-14
算两段数据的cosality(相关性),他是一个1XN维度的相似度计算模型,有完整的说明文档，是本人的满分的coursework
高维数据相似性可搜索加密的高效分布式方法
04-07
### 高维数据相似性可搜索加密的高效分布式方法 #### 概述 随着云计算技术的飞速发展，大量的敏感数据被存储在云端。然而，将这些敏感数据传输到不可信的云服务器上引发了对数据隐私的关注。为了解决这一问题，在...
基于DHT的高维数据相似性检索方法研究
02-24
以在P2P网络下实现对海量、高维数据的高效相似性检索为目标，提出PLCID索引方法(modified iDistance based on Proximity Location Code)，该方法有效地缩小了需要搜索的范围，减少了数据对象间的距离计算次数，...
LCQMC语义相似性数据集
01-12
LCQMC，全称为“Large-...总之，LCQMC语义相似性数据集是中文自然语言处理领域的重要资源，它推动了语义理解和匹配技术的发展，为研究人员提供了大量数据以训练和评估模型，有助于构建更智能、更精准的语言处理系统。
AIDS数据集-图相似性搜索数据集
10-30
艾滋病：这是用于NCI / NIH开发和治疗计划的抗病毒筛查数据集。 它包含42390个化合物，平均25.4个顶点和26.7个边。 它是大型的图形数据库，通常用于图形相似性搜索领域。 原始数据集，下载后自行清洗。
20种数据相似性计算方法
最新发布
技术备忘录
08-30 9657
不同的相似性计算方法适用于不同类型的数据和问题。在选择相似性计算方法时，需根据数据的特性、问题的定义以及所关注的数据特点来做出合适的选择。本文归纳了20种数据相似性计算方法以及它们的特点和适用场景，并给出了参考python实现。
数据的相似性和相异性的度量
热门推荐
Yancy的博客
11-23 1万+
要讨论相似度（similarity）和相异度（dissimilarity），我们先引入一个术语叫邻近度（proximity）。邻近度可以表示相似性或者相异性，相当于是一个总括概念。邻近度度量有很多，比如相关和欧几里得距离（在时间序列这样的稠密数据或者二维点用到）、余弦相似度和Jaccard系数（文档类稀疏数据）。我们接下来简明扼要地来探讨梳理一下。 本文讲解的目录是： 一、相异度 二、相似度...
数据相似度处理功能实现思路与方法
一只小羊的专栏
07-13 6743
最近接到一个需求，需求直接来源于业务的一句话，“找出这堆商品信息里面相似的商品，根据名称判断”。需求看似简单，实则思考起来用技术实现是需要花点心思的。对于这样的需求，首先要有一个思路和思考的过程：1、业务具体想要的是什么？ -- 名称相似度超过一定比例的两个商品可以算成一个或者一组商品，用来后续组合处理2、什么样的数据才算是相似的？ -- 两个名称相似度超过70%，算是描述的同一种商品3、怎么实现...
计算相似度
老齐教室
02-06 1343
计算相似度 在机器学习中，经常要度量两个对象的相似度，例如k-最近邻算法，即通过度量数据的相似度而进行分类。在无监督学习中，K-Means算法是一种聚类算法，它通过欧几里得距离计算指定的数据点与聚类中心的距离。在推荐系统中，也会用到相似度的计算（当然还有其他方面的度量）。 本文中，将介绍业务实践中最常用的几种相似度的度量方法。 基于相似性的度量 皮尔逊相关系数 斯皮尔曼秩相关系数 肯德尔秩相关系数 余弦相似度 雅卡尔相似度 基于距离的度量 欧几里得距离 曼哈顿距离 1. 基于相似性的度量 1
​【机器学习】数据科学中 17 种相似性和相异性度量(上)
fengdu78的博客
01-08 1260
本文解释了计算距离的各种方法，并展示了它们在我们日常生活中的实例。限于篇幅，便于阅读，将本文分为上下两篇，希望对你有所帮助。"There is no Royal Road to Geome...
数据测量与相似性分析
huguozhiengr的博客
10-22 8659
这篇文章中主要记录如何分析样本间相似性的内容，相似性分析在分类算法（如K最邻近分类）和聚类任务中会涉及到。相似性分析基于样本属性取值，因此对于样本属性类型及其取值的特征也有必要说明。 1.数据测量及属性分类 测量某个对象得到数据的过程实质上是描述该对象的属性（特征）、并将该属性映射到某个值上，在这些值上一般可以定义如下几种操作： 相异性 、 序 ...
相似度计算方式汇总
凝眸伏笔的博客
05-06 7692
常用的下面一些距离计算方式 欧式距离（Euclidean Distance） 余弦相似度（Cosine） 皮尔逊相关系数（Pearson） 修正余弦相似度（Adjusted Cosine） 汉明距离（Hamming Distance） 曼哈顿距离（Manhattan Distance） 1.欧式距离（Euclidean Distance） 欧式距离全称是欧几里距离，是最易于理解的一种...
数据相似性的度量
jumdar的博客
01-05 5915
在聚类、离散点分析等应用场景，我们往往需要度量数据之间的相似程度，提高模型的泛化性。 （一）首先，我们先从用于数据相似性度量的基本数据结构开始：数据矩阵和相异性矩阵。 数据矩阵：或称对象-属性结构，矩阵每一行代表一个数据对象，每一列代表一个属性。 相异性矩阵：或称对象-对象结构，顾名思义，矩阵的行与列均为数据对象，但是矩阵每一个单元的值d（i，j）代表着i与j这两个数据对象之间的邻近度，其值...
python 数据相似性计算
05-15
在 Python 中，可以使用多种方法来计算数据之间的相似性。以下是几种常见的方法： 1. 欧几里得距离：计算两个向量之间的距离，也称为 L2 范数。可以使用 SciPy 库中的 `scipy.spatial.distance.euclidean` 函数来计算。 ```python from scipy.spatial.distance import euclidean vec1 = [1, 2, 3] vec2 = [4, 5, 6] distance = euclidean(vec1, vec2) print(distance) ``` 2. 余弦相似度：计算两个向量之间的夹角余弦值，范围在 -1 到 1 之间，值越接近 1，表示两个向量越相似。可以使用 NumPy 库中的 `numpy.dot` 和 `numpy.linalg.norm` 函数来计算。 ```python import numpy as np vec1 = [1, 2, 3] vec2 = [4, 5, 6] cos_sim = np.dot(vec1, vec2) / (np.linalg.norm(vec1) * np.linalg.norm(vec2)) print(cos_sim) ``` 3. Jaccard 相似度：计算两个集合之间的相似性，即它们的交集与并集之间的比率。可以使用 Python 内置的 `set` 函数来实现。 ```python set1 = set([1, 2, 3]) set2 = set([2, 3, 4]) jaccard_sim = len(set1.intersection(set2)) / len(set1.union(set2)) print(jaccard_sim) ``` 还有其他一些方法，如 Pearson 相关系数、Spearman 相关系数、曼哈顿距离等。根据具体情况选择合适的方法进行计算。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值