记录在使用sklearn中趟过的雷

使用sklearn是为了读取自制数据集中使用一些预处理操作，虽然pytorch的包中含有一些预处理操作，但并不全因此使用到了sklearn。此处记录一下在使用sklearn使用中趟的雷。

1.MaxAbsScaler()

MaxAbsScaler是将数据归一化到[-1,1]，然而在此处使用中需要注意的是Max操作不能针对二维以上的矩阵，若是需要对三维矩阵进行的话，需要将三维矩阵安排为二维矩阵，自己使用的方法为：

echo_trans = echo.reshape(echo.shape[0],-1)
echo_trans = T.MaxAbsScaler().fit_transform(echo_trans)           # 对回波进行归一化
echo_trans = T.scale(echo_trans)                        # 进行中心置零
echo = echo_trans.reshape(echo.shape[0],echo.shape[1],echo.shape[2])

在此处由于我需要其输出矩阵重新为三维，因此我需要重新reshape

---

2.scale()

此处使用趟的雷其实是联系着MaxAbsScaler()的，因为在运行的时候报错TypeError: float() argument must be a string or a number, not ‘MaxAbsScaler’ 而我原来使用的是MaxAbsScaler().fit(echo_trans),因此会报错。报错原因为：

.fit method returns the standard scalar object. You are using that to train the model. please use fit_transfor or transform after the fit. like below
（fit方法返回标准标量对象。你用它来训练模型。请使用fit_transfor或转换后，适合。像下面的）

因此用法应该为：

sc_x.fit(x)
x = sc_x.transform(x)
or
x = sc_x.fit_transform(x)

在我的代码中其更改方式应为：

T.MaxAbsScaler().fit_transform(echo_trans)   

---

3.关于dataloder矩阵维度问题

如题这节主要讨论在使用sklearn的时候其输出的矩阵维度问题。至于为什么讨论这个问题主要是因为使用torchivision.transform的时候官方包会自动将你的输入矩阵的H * W * C转变为C * H * W,然而当你使用sklearn的时候其输出与输入的矩阵维度一致均为H * W * C。然而torch的标准输入时C * H * W这样就可能会报错。 因此需要你在自定义数据集里面将矩阵维度改换过来。在我的程序中我使用的代码为：

'''
由于torch的处理是C*H*W,而读取是H*W*C所以需要调转维度。
如果使用torchvision的transform则不需要进行这一步
'''
echo = echo.transpose(2,0,1)
label = label.transpose(2,0,1)

此处由于我的导入为nparray所以直接使用numpy的转置矩阵方案。而且由于torch的data.DataLoader 会自动将输入改为tensor所以也不需要额外将nparray转化为tensor。在此处若是为tensor，建议使用tensor.permute()

---

参考链接：
Data Science