几种简单数据预处理方法的Python实现

最新推荐文章于 2024-06-21 13:19:16 发布

killfat

最新推荐文章于 2024-06-21 13:19:16 发布

阅读量869

点赞数

分类专栏： Python 深度学习文章标签：数据处理 Python

本文链接：https://blog.csdn.net/killfat/article/details/88917752

版权

本文介绍了数据预处理中的五个关键步骤，包括大向量分割、小向量填充、数据编码、向量形状变换和文本处理，通过Python实现。详细讲解了如何利用Python的列表切片、enumerate()、numpy库等工具进行数据处理，特别适合深度学习初学者。

摘要由CSDN通过智能技术生成

几种简单数据预处理方法的Python实现

数据科学、深度学习都离不开数据的准备与预处理。对于像我这样的新手而言，不仅算法需要花费许多时间来理解，数据预处理就消耗了不少的精力。在此特将近期遇到的几种准备数据的方法归类，并使用Python来处理它们。一可以深化对Python语言特性的理解，二也为所有人参考，能够少走弯路。

几个对于简化编码非常重要的语言特性与库方法：列表的切片，enumerate()，列表推导(List Comprehension)，以及numpy库的numpy.zeros()、numpy.shape等。

近期学习Udacity深度学习基础课，把数据的准备分成了以下五种类型：

一.大向量分割成若干小向量

背景：切割训练集，使之适合于模型的输入。使用List的切片

split_frac = 0.8 #训练集占80%
num_train = int(0.8*len(features))
train_x, val_x = features[:num_train], features[num_train:]
num_val = int(0.5*len(val_x)) #验证集与测试集各占剩余20%中的一半
val_x, test_x = val_x[:num_val], val_x[num_val:]