RIPGeo代码理解(五)utils.py( 辅助函数)第二部分

本文详细介绍了RIPGeo项目的`utils.py`中多个辅助函数的作用,包括MaxMinLogRTTScaler、MaxMinRTTScaler、MaxMinScaler类的定义,涉及数据的对数变换、最大最小归一化。此外,还涵盖了graph_normal()函数对图形数据的归一化处理,get_data_generator()函数对训练和测试数据的预处理,以及dis_loss()、save_cpt()等其他重要函数。这些函数在深度学习模型中用于数据预处理和模型管理,确保模型能够正确地处理输入数据并保存训练状态。
摘要由CSDN通过智能技术生成

 

 代码链接:RIPGeo代码实现

├── lib # 包含模型(model)实现文件
    │        |── layers.py # 注意力机制的代码。
    │        |── model.py # TrustGeo的核心源代码。
    │        |── sublayers.py # layer.py的支持文件。
    │        |── utils.py # 辅助函数。

五、MaxMinLogRTTScaler()类定义

class MaxMinLogRTTScaler():
    def __init__(self):
        self.min = 0.
        self.max = 1.

    def transform(self, data):
        data_o = np.array(data)
        data_o = np.log(data_o + 1)
        return (data_o - self.min) / (self.max - self.min)

这是一个最大最小归一化和对数变换的类,用于对输入数据进行预处理。这个类的实例可以用于对RTT(Round-Trip Time)等数据进行预处理,使其适用于某些需要输入在固定范围内的模型。

分为几个部分展开描述:

(一)__init__()

def __init__(self):
    self.min = 0.
    self.max = 1.

这是一个简单的类的初始化方法 __init__,主要功能是为类的实例对象设置初始属性值。

1、self.min = 0.: 创建一个实例变量 min 并将其设置为 0.,这里 0. 表示浮点型的零。
2、self.max = 1.: 创建一个实例变量 max 并将其设置为 1.,同样是浮点型的一。

(二)transform()

def transform(self, data):
    data_o = np.array(data)
    data_o = np.log(data_o + 1)
    return (data_o - self.min) / (self.max - self.min)

这段代码的功能是将输入的数据进行对数转换,然后进行最小-最大归一化。这样的操作常用于将数据缩放到一个较小的范围,使其更适合训练或输入到某些机器学习模型中。这种缩放方法用于将数据缩放到指定的范围,是[0, 1]。

1、data_o = np.array(data):将输入的data转换为NumPy数组,并将结果存储在data_o中。

2、data_o = np.log(data_o + 1):对data_o中的每个元素取对数,这里使用的是自然对数(以e为底)。+ 1 是为了避免对0取对数。

3、return (data_o - self.min) / (self.max - self.min):对处理后的数据进行归一化操作。self.minself.max是归一化的范围,这两个值可能是预先计算得到的或者是通过其他方式确定的。这里使用的是最小-最大归一化方法,即减去最小值然后除以范围(最大值减最小值)。最终,函数返回归一化后的结果。

六、MaxMinRTTScaler()类定义

class MaxMinRTTScaler():
    def __init__(self):
        self.min = 0.
        self.max = 1.

    def transform(self, data):
        data_o = np.array(data)
        # data_o = np.log(data_o + 1)
        return (data_o - self.min) / (self.max - self.min)

这是一个用于进行最大-最小缩放(Max-Min Scaling)的类。这种缩放方法用于将数据缩放到指定的范围,通常是[0, 1]。

相比于第五部分(MaxMinLogRTTScaler类定义,缺少对数化操作,其他的一样。

七、MaxMinLogScaler()类定义

class MaxMinLogScaler():
    def __init__(self):
        self.min = 0.
        self.max = 1.

    def transform(self, data):
        data[data != 0] = -np.log(data[data != 0] + 1)
        max = torch.from_numpy(self.max).type_as(data).to(data.device) if torch.is_tensor(data) else self.max
        min = torch.from_numpy(self.min).type_as(data).to(data.device) if torch.is_tensor(data) else self.min
        data[data != 0] = (data[data != 0] - min) / (max - min)
        return data

    def inverse_transform(self, data):
        max = torch.from_numpy(self.max).type_as(data).to(data.device) if torch.is_tensor(data) else self.max
        min = torch.from_numpy(self.min).type_as(data).to(data.device) if torch.is_tensor(data) else self.min
        data = data * (max - min) + min
        return np.exp(data)

这是一个实现最大最小对数缩放(Max-Min Log Scaling)的类,主要用于处理数据的缩放和反缩放。该类的目的是确保数据在缩放和反缩放时能够得到合适的转换,避免由于极端值或零值导致的不稳定情况。

分为几个部分展开描述:

(一)__init__()

def __init__(self):
    self.min = 0.
    self.max = 1.

初始化方法,设置缩放的最小值和最大值,默认为 0 和 1。

(二)transform()

def transform(self, data):
    data[data != 0] = -np.log(data[data != 0] + 1)
    max = torch.from_numpy(self.max).type_as(data).to(data.device) if torch.is_tensor(data) else self.max
    min = torch.from_numpy(self.min).type_as(data).to(data.device) if torch.is_tensor(data) else self.min
    data[data != 0] = (data[data != 0] - min) / (max - min)
    return data

数据缩放方法。对于输入的数据 data,首先对非零元素取对数,然后进行最大最小缩放,将数据映射到 [0, 1] 的范围内。

1、data[data != 0] = -np.log(data[data != 0] + 1)对数据中非零元素取对数的操作。首先,data != 0 会生成一个布尔掩码,表示数据中非零的位置。然后,对这些非零的元素执行 -np.log(data[data != 0] + 1),将其取对数并取负值,最终将结果赋值给原数据中非零的位置。这个操作通常用于对数据进行对数缩放,可以使原始数据中的大数值范围缩小,便于模型训练。

2、max = torch.from_numpy(self.max).type_as(data).to(data.device) if torch.is_tensor(data) else self.max:将 self.max 转换为与输入数据 data 类型一致的张量,并移动到与输入数据相同的设备(GPU 或 CPU)。这里做了类型和设备的匹配以确保后续的操作在相同的环境下进行。

3、min = torch.from_numpy(self.min).type_as(data).to(data.device) if torch.is_tensor(data) else self.min:将 self.min 转换为与输入数据 data 类型一致的张量,并移动到与输入数据相同的设备。

4、data[data != 0] = (data[data != 0] - min) / (max - min):对数据中非零元素进行归一化操作。首先,data[data != 0] 会获取数据中非零元素的数组。然后,对这些非零元素执行归一化操作,减去最小值 min 并除以范围 (max - min)最终,将归一化后的值赋值给原数据中非零的位置。

(三)inverse_transform()

def inverse_transform(self, data):
    max = torch.from_numpy(self.max).type_as(data).to(data.device) if torch.is_tensor(data) else self.max
    min = torch.from_numpy(self.min).type_as(data).to(data.device) if torch.is_tensor(data) else self.min
    data = data * (max - min) + min
    return np.exp(data)

这段代码实现了一个反向变换(inverse transform)的函数,主要用于将经过某种归一化处理的数据反向还原到原始数据的范围。目的是将经过某种归一化处理的数据还原到原始的数值范围,以便进行后续的分析或应用。

1、max = torch.from_numpy(self.max).type_as(data).to(data.device) if torch.is_tensor(data) else self.max:将保存的最大值 self.max 转换为PyTorch张量,并确保其与输入数据 data 的数据类型一致。如果 data 是PyTorch张量,将张量移动到与 data 相同的设备(device)上。

2、min = torch.from_numpy(self.min).type_as(data).to(data.device) if torch.is_tensor(data) else self.min

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值