工具记录:最近学习机器学习加速工具

1. dask: 一开始是作为并行计算pandas dataframe使用的, 后来发现还很强大, 支持scikit, tpot等机器学习相关. 轻量化, 基于py社区(与之对应的是spark, 虽然有py版本, 但是本质是一个大而全的整个系统)
2. numba:加速数学运算, 尤其原生计算和numpy计算, 特别支持挺多计算函数(random等)
3. petastorm: uber支持的创建dataset的lib
4. 有时候从数据库下载太慢, 要记得用shell直接下载成本地文件(快很多)
5. from toolz import partition_all 也是并行计算的好的方法