第二周:python实现线性回归(哑变量回归)的高效方法
我怎么觉得自己就像小学生在写青创日记……
知道了pickle是啥。pickle提供了一个简单的持久化功能。可以将对象以文件的形式存放在磁盘上。
老板给了我一些pickle文件,找出最快的回归的方法。
有一个很厉害的人叫Tirthajyoti Sarkar,写了一篇笔记,比较了八种常用的方法:
https://www.freecodecamp.org/news/data-science-with-python-8-ways-to-do-linear-regression-and-measure-their-speed-b5577d75f8b/
他的github上有代码,我就跑了一遍试试。
结果也正如文中所写,发现对于多元线性回归,最快的方法就是
result = np.linalg.lstsq(A, y)
原理应当跟求广义逆矩阵(MoorePenrose_inverse)是一样的,详情见官方文档:https://numpy.org/doc/stable/reference/generated/numpy.linalg.lstsq.html
这个result返回的是个四元变量。所以也可以写成
x, residuals, rank, s = np.linalg.lstsq(A, y)
x就是系数矩阵,residuals就要注意了,它是残差之和!!所以只有一行。哎orz。如果要获得每个残差,就简单计算一下,反正numpy算矩阵乘法快得很。
代码是这样的:
1 importpickle2 importpandas as pd3 importnumpy a