Python加载数据的5种不同方式

2401_84140580

于 2024-05-17 04:56:03 发布

阅读量1k

点赞数 25

分类专栏：程序员文章标签： python 学习面试

本文链接：https://blog.csdn.net/2401_84140580/article/details/138986647

版权

程序员专栏收录该内容

130 篇文章 0 订阅

订阅专栏

如果你也是看准了Python，想自学Python，在这里为大家准备了丰厚的免费学习大礼包，带大家一起学习，给大家剖析Python兼职、就业行情前景的这些事儿。

一、Python所有方向的学习路线

Python所有方向路线就是把Python常用的技术点做整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。

二、学习软件

工欲善其必先利其器。学习Python常用的开发软件都在这里了，给大家节省了很多时间。

三、全套PDF电子书

书籍的好处就在于权威和体系健全，刚开始学习的时候你可以只看视频或者听某个人讲课，但等你学完之后，你觉得你掌握了，这时候建议还是得去看一下书籍，看权威技术书籍也是每个程序员必经之路。

四、入门学习视频

我们在看视频学习的时候，不能光动眼动脑不动手，比较科学的学习方法是在理解之后运用它们，这时候练手项目就很适合了。

四、实战案例

光学理论是没用的，要学会跟着一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

五、面试资料

我们学习Python必然是为了找到高薪的工作，下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料，并且有阿里大佬给出了权威的解答，刷完这一套面试资料相信大家都能找到满意的工作。

成为一个Python程序员专家或许需要花费数年时间，但是打下坚实的基础只要几周就可以，如果你按照我提供的学习路线以及资料有意识地去实践，你就有很大可能成功！
最后祝你好运！！！

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化学习资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

if checkcol is False:

col = val

checkcol = True

else:

data.append(val)

df = pd. DataFrame (data=data,columns=col)

return df

嗯，这是什么？？？？似乎有点复杂的代码！！！让我们逐步打破它，以便您了解正在发生的事情，并且可以应用类似的逻辑来读取自己的 .csv文件。

在这里，我创建了一个 load_csv 函数，该函数将要读取的文件的路径作为参数。

我有一个名为data 的列表，它将具有我的CSV文件数据，而另一个列表 col 将具有我的列名。现在，在手动检查了csv之后，我知道列名在第一行中，因此在我的第一次迭代中，我必须将第一行的数据存储在 col中，并将其余行存储在 data中。

为了检查第一次迭代，我使用了一个名为checkcol 的布尔变量，它为False，并且在第一次迭代中为false时，它将第一行的数据存储在 col中，然后将checkcol 设置为True，因此我们将处理数据列表并将其余值存储在数据列表中。

逻辑

这里的主要逻辑是，我使用readlines（） Python中的函数在文件中进行了迭代。此函数返回一个列表，其中包含文件中的所有行。

当阅读标题时，它会将新行检测为 \ n 字符，即行终止字符，因此为了删除它，我使用了 str.replace 函数。

由于这是一个的.csv 文件，所以我必须要根据不同的东西逗号，所以我会各执一个字符串，用 string.split（“”）。对于第一次迭代，我将存储第一行，其中包含列名的列表称为 col。然后，我会将所有数据附加到名为data的列表中。

为了更漂亮地读取数据，我将其作为数据框格式返回，因为与numpy数组或python的列表相比，读取数据框更容易。

输出量

利弊

重要的好处是您具有文件结构的所有灵活性和控制权，并且可以以任何想要的格式和方式读取和存储它。

您也可以使用自己的逻辑读取不具有标准结构的文件。

它的重要缺点是，特别是对于标准类型的文件，编写起来很复杂，因为它们很容易读取。您必须对需要反复试验的逻辑进行硬编码。

仅当文件不是标准格式或想要灵活性并且以库无法提供的方式读取文件时，才应使用它。

2. Numpy.loadtxt函数

这是Python中著名的数字库Numpy中的内置函数。加载数据是一个非常简单的功能。这对于读取相同数据类型的数据非常有用。

当数据更复杂时，使用此功能很难读取，但是当文件简单时，此功能确实非常强大。

要获取单一类型的数据，可以下载此处虚拟数据集。让我们跳到代码。

df = np.loadtxt(’ convertcsv.csv’, delimeter = ', ')

这里，我们简单地使用了在传入的定界符中作为 '，'的 loadtxt 函数，因为这是一个CSV文件。

现在，如果我们打印 df，我们将看到可以使用的相当不错的numpy数组中的数据。

print (df[: 5，:])

在这里插入图片描述

由于数据量很大，我们仅打印了前5行。

利弊

使用此功能的一个重要方面是您可以将文件中的数据快速加载到numpy数组中。

缺点是您不能有其他数据类型或数据中缺少行。

3. Numpy.genfromtxt（）

我们将使用数据集，即第一个示例中使用的数据集“ 100 Sales Records.csv”，以证明其中可以包含多种数据类型。

让我们跳到代码。

data = np. genfromtxt(‘100 Sales Records.csv’, delimiter=', ')

在这里插入图片描述

为了更清楚地看到它，我们可以以数据框格式看到它，即

这是什么？哦，它已跳过所有具有字符串数据类型的列。怎么处理呢？

只需添加另一个 dtype 参数并将dtype 设置为None即可，这意味着它必须照顾每一列本身的数据类型。不将整个数据转换为单个dtype。

data = np. genfromtxt(‘100 Sales Records.csv’, delimiter=', ', dtype=None)

然后输出

pd.DataFrame(df3).head ()

在这里插入图片描述

比第一个要好得多，但是这里的“列”标题是“行”，要使其成为列标题，我们必须添加另一个参数，即名称，并将其设置为 True，这样它将第一行作为“列标题”。

即

df3 = np.genfromtxt(‘100 Sales Records.csv’, delimiter=‘,’, dtype=None, names=True, encoding=‘utf-8’)

我们可以将其打印为

pd. DataFrame(df3) .head()

在这里插入图片描述

4. Pandas.read_csv()

Pandas是一个非常流行的数据操作库，它非常常用。read_csv（）是非常重要且成熟的功能之一，它可以非常轻松地读取任何 .csv 文件并帮助我们进行操作。让我们在100个销售记录的数据集上进行操作。

此功能易于使用，因此非常受欢迎。您可以将其与我们之前的代码进行比较，然后进行检查。

pdDf = pd.read_csv (‘100 Sales Record.csv’)

pdDf. head()

你猜怎么着？我们完了。这实际上是如此简单和易于使用。Pandas.read_csv肯定提供了许多其他参数来调整我们的数据集，例如在我们的 convertcsv.csv 文件中，我们没有列名，因此我们可以将其读取为

newdf = pd.read_csv(‘convertcsv.csv’, header=None)

newdf. head()

在这里插入图片描述

我们可以看到它已经读取了没有标题的 csv 文件。您可以在此处查看官方文档中的所有其他参数。

5. Pickle

如果您的数据不是人类可以理解的良好格式，则可以使用pickle将其保存为二进制格式。然后，您可以使用pickle库轻松地重新加载它。

我们将获取100个销售记录的CSV文件，并首先将其保存为pickle格式，以便我们可以读取它。

最后

Python崛起并且风靡，因为优点多、应用领域广、被大牛们认可。学习 Python 门槛很低，但它的晋级路线很多，通过它你能进入机器学习、数据挖掘、大数据，CS等更加高级的领域。Python可以做网络应用，可以做科学计算，数据分析，可以做网络爬虫，可以做机器学习、自然语言处理、可以写游戏、可以做桌面应用…Python可以做的很多，你需要学好基础，再选择明确的方向。这里给大家分享一份全套的 Python 学习资料，给那些想学习 Python 的小伙伴们一点帮助！