装饰器:
@custom_fwd
def forward(ctx, input, qweight, scales, qzeros, g_idx, bits, maxq):
output = quant_matmul_248(input, qweight, scales, qzeros, g_idx, bits, maxq)
ctx.save_for_backward(qweight, scales, qzeros, g_idx)
ctx.bits, ctx.maxq = bits, maxq
return output
如上形式中的@custom_fwd就是装饰器,装饰器通常可以用来增强函数功能,比如记录日志、修改函数的输入输出,甚至控制函数的执行顺序。
装饰器的工作原理是:它们接收一个函数作为输入,并返回一个增强的函数。这样,你可以在不直接修改原函数代码的情况下对其功能进行增强或扩展。
一个简单的例子:
import time
# 定义装饰器函数
def timer_decorator(func):
def wrapper(*args, **kwargs):
start_time = time.time() # 记录开始时间
result = func(*args, **kwargs) # 执行被装饰的函数
end_time = time.time() # 记录结束时间
print(f"Function {func.__name__} executed in {end_time - start_time:.4f} seconds")
return result # 返回被装饰函数的结果
return wrapper # 返回增强后的函数
# 使用装饰器来修饰目标函数
@timer_decorator
def example_function(n):
total = 0
for i in range(n):
total += i
return total
# 调用装饰过的函数
result = example_function(1000000)
print(f"Result: {result}")
工作原理
- timer_decorator(func): 这是装饰器函数,它接收一个函数 func 作为参数。
- wrapper(*args, **kwargs): 这是内部函数 wrapper,它接受任意参数,并且在执行 func 之前记录开始时间,执行后记录结束时间,并计算和打印函数执行的时间。
- @timer_decorator: 在定义 example_function 时,这个装饰器被应用到函数上。每次调用 example_function,实际上是在调用 wrapper 函数。
这个例子展示了如何通过装饰器来增强函数功能(在这里,记录了执行时间),而无需修改原函数的代码。
python:flatten()参数详解
这篇博客主要写flatten()作用,及其参数的含义
flatten()是对多维数据的降维函数
flatten()是对多维数据的降维函数。
flatten(),默认缺省参数为0,也就是说flatten()和flatte(0)效果一样。
python里的flatten(dim)表示,从第dim个维度开始展开,将后面的维度转化为一维.也就是说,只保留dim之前的维度,其他维度的数据全都挤在dim这一维。
比如一个数据的维度是( S 0 , S 1 , S 2......... , S n ) (S0,S1,S2.........,Sn)(S0,S1,S2.........,Sn), flatten(m)后的数据为( S 0 , S 1 , S 2 , . . . , S m − 2 , S m − 1 , S m ∗ S m + 1 ∗ S m + 2 ∗ . . . ∗ S n ) (S0,S1,S2,...,Sm-2,Sm-1,SmSm+1Sm+2...Sn)(S0,S1,S2,...,Sm−2,Sm−1,Sm∗Sm+1∗Sm+2∗...∗Sn)
下面我们举个例子来理解一下flatten
比如我们随机定义一个维度为(2,3,4)的数据a
import torch
a = torch.rand(2,3,4)
a输出结果为:
a此时的维度为(2,3,4)
flatten()和flatten(0)效果一样,a这个数据从0维展开,就是(2 ∗ 3 ∗ 4 2342∗3∗4),维度就是(24)
b,c的结果如图:
b = a.flatten()
c = a.flatten(0)
b,c的结果如图:
b,c相等,维度均为( 2 ∗ 3 ∗ 4 ) 也就是(24)
a从1维展开flatten(1),就是( 2 , 3 ∗ 4 ),也就是(2,12).
d = a.flatten(1)
d的结果如图所示:
a从一维展开后的数据d的维度为( 2 , 3 ∗ 4 ) 也就是(2,12)
a若是从2维展开flatten(2),那就是(2,3,4)和之前没有变化
e = a.flatten(2)
e的结果如图所示:
e从二维展开后的数据d的维度为( 2 , 3 , 4 )