基于PyTorch重写sklearn，《现代大数据算法》-CSDN博客

HyperLearn是一个基于PyTorch重写的机器学习工具包Scikit Learn，它的一些模块速度更快、需要内存更少，效率提高了一倍。

专为大数据而设计，HyperLearn可以使用50％以下的内存，并在某些模块上运行速度提高50％以上。将支持GPU，并且所有模块都是并行化的。

项目作者Daniel Han-Chen，毕业于澳大利亚新南威尔士大学，专注于AI、NLP和无监督机器学习的推荐和匹配算法。

基于HyperLearn，作者展示了如何让很多机器学习算法更快、更高效。

其中一些很酷的算法：

●  最小二乘法/线性回归的拟合时间相比sklearn减少70%，内存使用减少50%
●  由于新的并行算法，非负矩阵分解的拟合时间相比sklearn减少50%
●  Euclidean算法/余弦相似度算法加快40%
●  LSMR迭代最小二乘法时间减少50%

● 新的Reconstruction SVD算法——使用SVD来估算丢失的数据，比mean imputation方法好约30%

稀疏矩阵运算速度提高50％——并行化
●  RandomizedSVD，速度加快20%~30%
●  New Incremental SVD和Incremental Eig，RandomizedSVD / Truncated SVD
●  等等

项目地址：

https://github.com/danielhanchen/hyperlearn

并且，作者写了一本电子书：Modern Big Data Algorithms，介绍了12个新算法以及一些更新的算法：

86103c1378b6e0f6c2655cd7d8c0ab82c40aa540

红色：新算法；绿色：更新的算法；蓝色：即将发布

让我们先大致看一下“奇异值分解”（SVD）这一章，这是最重要的算法之一。SVD将PCA、线性回归、岭回归、QDA、LDA、LSI、推荐系统、压缩算法、L2 distance等多种算法联系在一起，可以说是机器学习中最重要的算法了。

a965e0e22315cf7a097444a6eee9e517dd77ac55

提速50%+，RAM使用减少50%+

提速50%+，RAM使用减少50%+，GPU支持的重写Sklearn，使用Statsmodels组合新的算法。

HyperLearn完全用PyTorch, NoGil Numba, Numpy, panda, Scipy 和 LAPACK编写，镜像主要是Scikit Learn。HyperLearn还嵌入了统计推断方法，可以被想Scikit Learn语法(model.confidence_interval_)一样调用。

71c4273362958accefa77d062b9e0864b7698845

速度/内存的比较

时间表示Fit + Predict的时间。RAM(mb) = max( RAM(Fit), RAM(Predict) )

以下是N = 5000，P = 6000时的初步结果：

951a9b8bad2ecbe785e4e1191a79c0b861728560

关键方法和目标

●  令人尴尬的并行循环
●  速度提升50％+，精简50％+
●  为什么Statsmodels有时会慢得让人无法忍受？
●  使用PyTorch的深度学习模块
●  代码量减少20％+，更清晰的代码
●  访问旧算法和令人兴奋的新算法

1. 令人尴尬的并行循环

● 包括内存共享，内存管理
● 通过PyTorch和Numba的CUDA并行性

2. 50%+ Faster, 50%+ Leaner

●  矩阵乘法排序：
https://en.wikipedia.org/wiki/Matrix_chain_multiplication
●  Element Wise矩阵乘法将复杂度从O(n^3)降低到O(n^2)： https://en.wikipedia.org/wiki/Hadamard_product_(matrices)
●  将矩阵运算简化为Einstein Notation： https://en.wikipedia.org/wiki/Einstein_notation
●  连续评估一次性矩阵操作以减少RAM开销。
●  如果p >> n，则可能分解X.T优于分解X.
●  在某些情况下，应用QR分解SVD可能会更快。
●  利用矩阵的结构来计算更快（例如三角矩阵，Hermitian矩阵）。
●  计算 SVD(X)，然后获得pinv(X) ，有时比单纯计算pinv(X)更快

3. 为什么Statsmodels有时会慢得让人无法忍受?

●  对线性模型的置信度、预测区间，假设检验和拟合优度检验进行了优化。
●  尽可能使用 Einstein Notation和Hadamard Products。
●  仅计算需要计算的内容（计算矩阵对角线，而不是整个矩阵）。
●  修复Statsmodels在符号、速度、内存方面的问题和变量存储上的缺陷。

4. 使用PyTorch的深度学习模块

● 使用PyTorch创建Scikit-Learn

5. 代码量减少20％+，更清晰的代码

●  尽可能使用 Decorators和Functions。
●  直观的中层函数名称，如（isTensor，isIterable）。
●  通过hyperlearn.multiprocessing轻松处理并行

6. 访问旧算法和令人兴奋的新算法

●  矩阵补全算法——非负最小二乘法，NNMF
●  批相似性隐含狄利克雷分布（BS-LDA）
●  相关回归（Correlation Regression）
●  可行的广义最小二乘法FGLS
●  Outlier Tolerant Regression
●  多维样条回归（Multidimensional Spline Regression）
●  广义MICE
●  使用Uber的Pyro进行贝叶斯深度学习

原文发布时间为：2018-11-19

本文作者：Daniel Han-Chen

本文来自云栖社区合作伙伴新智元，了解相关信息可以关注“AI_era”。

原文链接：基于PyTorch重写sklearn，《现代大数据算法》