L1L2-distance_and_norm

lyqstar...

已于 2022-04-27 16:11:53 修改

阅读量459

点赞数

分类专栏：图像检索文章标签：深度学习

于 2022-04-14 23:09:31 首次发布

本文链接：https://blog.csdn.net/weixin_44868313/article/details/124184101

版权

图像检索专栏收录该内容

1 篇文章 0 订阅

订阅专栏

本文介绍了向量的L1距离（曼哈顿距离）和L2距离（欧式距离），以及它们在机器学习中作为度量标准的重要性。L2范数用于正则化，防止过拟合。通过Python的PyTorch库展示了L2正则化的实现。同时，文章提到了余弦相似性和欧氏距离之间的单调关系，说明了在特定条件下两者可以互换使用。

摘要由CSDN通过智能技术生成

L1、L2 distance and norm

L1-distance

L1-distance: (曼哈顿距离), $d_{1}$ 表示为：

$d_{1}(p, q) = ||\boldsymbol p - \boldsymbol q||_{1} = \sum_{i=1}^{n}|p_{i} - q_{i}|，$

这里的(p, q)是向量
p = ( $p_{1},$ $p_{2},$ …, $p_{n}$ ) and q = ( $q_{1},$ $q_{2},$ …, $q_{n}$ )

L2-distance

L2-distance又称为欧式距离、欧几里得距离

$d_{2}(p, q) = ||\boldsymbol p - \boldsymbol q||_{2}^{2} = \sqrt {\sum_{i=1}^{n}(p_{i} - q_{i})^{2}}，$

这里的(p, q)是向量
p = ( $p_{1},$ $p_{2},$ …, $p_{n}$ ) and q = ( $q_{1},$ $q_{2},$ …, $q_{n}$ )

L2-norm

The $\boldsymbol l^{2}-norm$ , $||{\boldsymbol X }||^{2}_{2}$ is a vector norm defined for a complex vector

$\boldsymbol X = \begin{bmatrix} x_{1} \\x_{2} \\:\\x_{n} \end{bmatrix}$

$||\boldsymbol X||^{2}_{2} = \sqrt {\sum_{k=1}^{n}|x_{k}|^{2}}$

L2-normalization(L2 正则化)

在这里插入图片描述

求解l2-正则化的方法

import torch
import torch.nn.functional as F
x = torch.tensor([1, 2, 3, 4], dtype=torch.float32)
print(x / torch.norm(x, 2))  # 方式一
print(x / torch.pow(x, 2).sum(dim=0).sqrt())  # 方式二
# 方式三
A = torch.tensor([[1, 2, 3, 4], [4, 3, 2, 1]], dtype=torch.float)
print(F.normalize(A, dim=-1))

## 其中 torch.norm(x, 2)为x的L2-norm

结果为：

tensor([0.1826, 0.3651, 0.5477, 0.7303])  # 方式一的结果
tensor([0.1826, 0.3651, 0.5477, 0.7303])  # 方式二的结果

tensor([[0.1826, 0.3651, 0.5477, 0.7303],  # 方式三的结果
        [0.7303, 0.5477, 0.3651, 0.1826]])