Python加载数据的5种不同方式(1)，2024年最新头条社招面经

先自我介绍一下，小编浙江大学毕业，去过华为、字节跳动等大厂，目前阿里P7

深知大多数程序员，想要提升技能，往往是自己摸索成长，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年最新Python全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上Python知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

如果你需要这些资料，可以添加V获取：vip1024c （备注Python）

正文

import pandas as pd

import pickle

1. Manual Function

这是最困难的，因为您必须设计一个自定义函数，该函数可以为您加载数据。您必须处理Python的常规归档概念，并使用它来读取 .csv 文件。

让我们在100个销售记录文件上执行此操作。

‘’’

遇到问题没人解答？小编创建了一个Python学习交流QQ群：531509025

寻找有志同道合的小伙伴，互帮互助,群里还有不错的视频学习教程和PDF电子书！

‘’’

def load_csv(filepath):

data = []

col =[]

checkcol =False

with open(filepath)as f:

for val in f.readlines():

val = val.replace(“\n”,“”)

val = val.split(‘,’)

if checkcol is False:

col = val

checkcol = True

else:

data.append(val)

df = pd. DataFrame (data=data,columns=col)

return df

嗯，这是什么？？？？似乎有点复杂的代码！！！让我们逐步打破它，以便您了解正在发生的事情，并且可以应用类似的逻辑来读取 自己的 .csv文件。

在这里，我创建了一个 load_csv 函数，该函数将要读取的文件的路径作为参数。

我有一个名为data 的列表， 它将具有我的CSV文件数据，而另一个列表 col 将具有我的列名。现在，在手动检查了csv之后，我知道列名在第一行中，因此在我的第一次迭代中，我必须将第一行的数据存储在 col中， 并将其余行存储在 data中。

为了检查第一次迭代，我使用了一个名为checkcol 的布尔变量， 它为False，并且在第一次迭代中为false时，它将第一行的数据存储在 col中 ，然后将checkcol 设置 为True，因此我们将处理 数据列表并将其余值存储在 数据列表中。

逻辑

这里的主要逻辑是，我使用readlines（） Python中的函数在文件中进行了迭代 。此函数返回一个列表，其中包含文件中的所有行。

当阅读标题时，它会将新行检测为 \ n 字符，即行终止字符，因此为了删除它，我使用了 str.replace 函数。

由于这是一个 的.csv 文件，所以我必须要根据不同的东西 逗号 ，所以我会各执一个字符串， 用 string.split（“”） 。对于第一次迭代，我将存储第一行，其中包含列名的列表称为 col。然后，我会将所有数据附加到名为data的列表中 。

为了更漂亮地读取数据，我将其作为数据框格式返回，因为与numpy数组或python的列表相比，读取数据框更容易。

输出量

利弊

重要的好处是您具有文件结构的所有灵活性和控制权，并且可以以任何想要的格式和方式读取和存储它。

您也可以使用自己的逻辑读取不具有标准结构的文件。

它的重要缺点是，特别是对于标准类型的文件，编写起来很复杂，因为它们很容易读取。您必须对需要反复试验的逻辑进行硬编码。

仅当文件不是标准格式或想要灵活性并且以库无法提供的方式读取文件时，才应使用它。

2. Numpy.loadtxt函数

这是Python中著名的数字库Numpy中的内置函数。加载数据是一个非常简单的功能。这对于读取相同数据类型的数据非常有用。

当数据更复杂时，使用此功能很难读取，但是当文件简单时，此功能确实非常强大。

要获取单一类型的数据，可以下载 此处 虚拟数据集。让我们跳到代码。

df = np.loadtxt(’ convertcsv.csv’, delimeter = ', ')

这里，我们简单地使用了在传入的定界符中 作为 '，'的 loadtxt 函数 ， 因为这是一个CSV文件。

现在，如果我们打印 df，我们将看到可以使用的相当不错的numpy数组中的数据。

print (df[: 5，:])

由于数据量很大，我们仅打印了前5行。

利弊

使用此功能的一个重要方面是您可以将文件中的数据快速加载到numpy数组中。

缺点是您不能有其他数据类型或数据中缺少行。

3. Numpy.genfromtxt（）

我们将使用数据集，即第一个示例中使用的数据集“ 100 Sales Records.csv”，以证明其中可以包含多种数据类型。

让我们跳到代码。

data = np. genfromtxt(‘100 Sales Records.csv’, delimiter=', ')

为了更清楚地看到它，我们可以以数据框格式看到它，即

这是什么？哦，它已跳过所有具有字符串数据类型的列。怎么处理呢？

只需添加另一个 dtype 参数并将dtype 设置 为None即可，这意味着它必须照顾每一列本身的数据类型。不将整个数据转换为单个dtype。

data = np. genfromtxt(‘100 Sales Records.csv’, delimiter=', ', dtype=None)

然后输出

pd.DataFrame(df3).head ()

比第一个要好得多，但是这里的“列”标题是“行”，要使其成为列标题，我们必须添加另一个参数，即 名称 ，并将其设置为 True， 这样它将第一行作为“列标题”。

做了那么多年开发，自学了很多门编程语言，我很明白学习资源对于学一门新语言的重要性，这些年也收藏了不少的Python干货，对我来说这些东西确实已经用不到了，但对于准备自学Python的人来说，或许它就是一个宝藏，可以给你省去很多的时间和精力。

别在网上瞎学了，我最近也做了一些资源的更新，只要你是我的粉丝，这期福利你都可拿走。

我先来介绍一下这些东西怎么用，文末抱走。

---

（1）Python所有方向的学习路线（新版）

这是我花了几天的时间去把Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。

最近我才对这些路线做了一下新的更新，知识体系更全面了。

（2）Python学习视频

包含了Python入门、爬虫、数据分析和web开发的学习视频，总共100多个，虽然没有那么全面，但是对于入门来说是没问题的，学完这些之后，你可以按照我上面的学习路线去网上找其他的知识资源进行进阶。

（3）100多个练手项目

我们在看视频学习的时候，不能光动眼动脑不动手，比较科学的学习方法是在理解之后运用它们，这时候练手项目就很适合了，只是里面的项目比较多，水平也是参差不齐，大家可以挑自己能做的项目去练练。

（4）200多本电子书

这些年我也收藏了很多电子书，大概200多本，有时候带实体书不方便的话，我就会去打开电子书看看，书籍可不一定比视频教程差，尤其是权威的技术书籍。

基本上主流的和经典的都有，这里我就不放图了，版权问题，个人看看是没有问题的。

（5）Python知识点汇总

知识点汇总有点像学习路线，但与学习路线不同的点就在于，知识点汇总更为细致，里面包含了对具体知识点的简单说明，而我们的学习路线则更为抽象和简单，只是为了方便大家只是某个领域你应该学习哪些技术栈。

（6）其他资料

还有其他的一些东西，比如说我自己出的Python入门图文类教程，没有电脑的时候用手机也可以学习知识，学会了理论之后再去敲代码实践验证，还有Python中文版的库资料、MySQL和HTML标签大全等等，这些都是可以送给粉丝们的东西。

这些都不是什么非常值钱的东西，但对于没有资源或者资源不是很好的学习者来说确实很不错，你要是用得到的话都可以直接抱走，关注过我的人都知道，这些都是可以拿到的。

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以添加V获取：vip1024c （备注python）

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！
79b2ead064d.png)

这些都不是什么非常值钱的东西，但对于没有资源或者资源不是很好的学习者来说确实很不错，你要是用得到的话都可以直接抱走，关注过我的人都知道，这些都是可以拿到的。

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以添加V获取：vip1024c （备注python）
[外链图片转存中…(img-sfi1omtY-1713352951460)]

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！