7 中方法处理 ML 中大型数据加载问题_大型数据使用的加载方法(1)

文末有福利领取哦~

👉一、Python所有方向的学习路线

Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。

👉二、Python必备开发工具

👉三、Python视频合集

观看零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

👉 四、实战案例

光学理论是没用的，要学会跟着一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。（文末领读者福利）

👉五、Python练习题

检查学习结果。

👉六、面试资料

我们学习Python必然是为了找到高薪的工作，下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料，并且有阿里大佬给出了权威的解答，刷完这一套面试资料相信大家都能找到满意的工作。

👉因篇幅有限，仅展示部分资料，这份完整版的Python全套学习资料已经上传

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化学习资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

分配更多内存

某些机器学习工具或数据库可能受到默认内存配置的限制。检查是否可以重新配置工具或数据库来使其分配到更多内存。Weka 是一个很好的例子, 在该示例中, 您可以在启动应用程序时将内存增加为参数。

使用较小的样本

**是否确实需要处理所有数据？**随机抽取数据的样本, 例如前1000行或10万列。在对所有数据 (使用渐进式数据加载技术) 拟合最终模型之前, 请使用这个较小的示例来解决问题。

我认为这是一个很好的做法, 在一般的机器学习中，这种方式可以让你快速得到抽查的算法和周转的结果。您还可以考虑，对用于匹配一个算法的数据量进行灵敏度分析, 而不是用模型技能。也许有一个递减反馈的自然点, 让你可以使用其作为你小样本的一个合适的大小值。

使用具有更多内存的计算机

**你必须在你的电脑上工作吗？**也许你可以访问一台更大的计算机, 是以你电脑的内存的数量级倍数存在的那种。例如,在云服务上租用大内存服务器就是一个好的选择是；例如亚马逊 Web 服务, 它提供的机器的 RAM 为每小时还不到一美元。我发现这种方法在过去非常有用。

更改数据格式

**数据是否存储在原始 ASCII 文本中, 如 CSV 文件？**也许您可以通过使用其他数据格式，来加快数据加载并且降低内存的使用率。二进制格式就是一个很好的例子, 如 GRIB、NetCDF 或HDF等格式。有许多命令行工具可用于将一种数据格式转换为另一种不要求将整个数据集加载到内存的格式的方法。使用另一种格式可以使您将数据存储在更紧凑的窗体中, 借此节省内存, 如2字节的整数或4字节的浮动。

流数据或使用渐进加载

**所有的数据都需要同时存储在内存中吗？**也许您可以使用代码或库，将数据流逐步加载到内存中以进行使用。这可能需要使用优化技术 (如随机梯度下降) 来迭代学习的算法, 而不是要求内存中所有数据都执行矩阵操作的算法, 如某些线性和逻辑回归的实现。例如, Keras 深层学习库提供此功能来逐步加载图像文件, 并称为flow_from_directory。另一个例子是可以在大块中加载大的 CSV 文件的熊猫库（Pandas）。

使用关联数据库

**关系数据库提供了一种存储和访问非常大的数据集的标准方法。**从内部来看,存储在磁盘上的数据可以逐步加载, 并可以使用标准查询语言 (SQL) 来进行查询。可以使用诸如MySQL或Postgres这样的免费开源数据库工具, 而且大多数 (也许是所有？) 编程语言和许多机器学习工具都可以直接连接到关联数据库。您还可以使用轻量级方法, 如SQLite。我在过去发现这种方法对于非常大的表格数据集非常有效。同样, 您可能需要使用可以处理迭代学习的算法。

使用大型数据平台

在某些情况下, 您可能需要求助于一个大的数据平台。这是一个为了处理非常大的数据集而设计的平台, 它允许您在上面使用数据转换和机器学习算法。**两个好例子是用Mahout机器学习库的Hadoop以及用MLLib库的Spark。**我相信当你已经用尽上述方法，这是会是解决这个问题的终极方法。然而, 在一些数据集非常非常大的情况下，之前的方法并不会是这些数据集缩短。

一、Python所有方向的学习路线

Python所有方向路线就是把Python常用的技术点做整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。

二、学习软件

工欲善其事必先利其器。学习Python常用的开发软件都在这里了，给大家节省了很多时间。

三、入门学习视频

我们在看视频学习的时候，不能光动眼动脑不动手，比较科学的学习方法是在理解之后运用它们，这时候练手项目就很适合了。

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化学习资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！