超平面法向量和固定随机特征方向-CSDN博客

开门见山

如果在学习过程中只更新超平面法向量而固定随机特征方向不变，则在线学习方法不能适应数据逐一到来时的分布形状变化。

假设你在做二分类任务，超平面用来区分两类数据。法向量是超平面的垂直向量，更新法向量意味着根据新数据调整超平面的位置和方向。随机特征的方向可以理解为输入数据的特征向量，比如将输入特征映射到高维空间中的某个随机方向。如果你只更新法向量，而特征方向保持不变，模型就无法灵活应对数据的变化。

下面用一个具体的例子来说明什么是更新超平面的法向量和随机特征的方向。

例子背景

假设我们有一个简单的二分类任务，数据点来自两个类别：类别 $A$ 和类别 $B$ 。我们想通过一个超平面（线）来分隔这两类数据。

数据

我们创建一些随机数据点：

import numpy as np
import matplotlib.pyplot as plt

# 生成类别 A 数据
np.random.seed(0)
A = np.random.randn(10, 2) + np.array([1, 1])  # 类别 A 的数据点

# 生成类别 B 数据
B = np.random.randn(10, 2) + np.array([-1, -1])  # 类别 B 的数据点

# 合并数据
data = np.vstack((A, B))
labels = np.array([1]*10 + [0]*10)  # 1 表示类别 A，0 表示类别 B

随机特征的方向

假设我们选择某个随机方向作为特征。比如，我们将数据映射到一个新的空间中，但我们固定这个特征方向（例如通过随机生成的特征）：

# 随机特征方向
random_feature_direction = np.random.randn(2)
random_feature_direction /= np.linalg.norm(random_feature_direction)  # 归一化

# 映射到新特征空间
mapped_data = data @ random_feature_direction.reshape(-1, 1)

更新超平面的法向量

接下来，我们使用简单的感知机算法来更新超平面的法向量。初始法向量设为零，然后根据新到来的数据点进行更新。

# 初始化法向量
weights = np.zeros(2)
learning_rate = 0.1

# 更新法向量的函数
def update_weights(weights, x, y):
    return weights + learning_rate * (y - predict(weights, x)) * x

def predict(weights, x):
    return 1 if np.dot(weights, x) > 0 else 0

# 在线学习更新法向量
for i in range(len(data)):
    x = data[i]
    y = labels[i]
    weights = update_weights(weights, x, y)

说明

超平面法向量的更新：通过上面的代码，每当我们遇到一个新的数据点，我们都在调整 weights（法向量）。这意味着我们在不断地更新分隔线的位置和方向。
固定的随机特征方向：我们在特征映射时使用了固定的随机方向，这意味着模型只能在这个方向上进行调整。如果数据分布发生变化（例如新数据点的方向与旧数据点差异较大），而特征方向没有更新，模型将无法正确适应新的数据分布。