![8ffdd6367fc6527a49de1f4648f632f1.png](https://i-blog.csdnimg.cn/blog_migrate/e5b6ca6c962bcec5da9efa8c4858e475.jpeg)
上一节我们提到,使用openpyxl可以方便的对数据表进行操作,例如:
- 抽象Excel数据并存入数据库
- 将数据库数据导出到Excel
- 给一个已存在的数据表追加信息
我们还介绍了一些Excel的基本术语,在自己本地安装了openpyxl库并用库在本地创建了简单的Excel文件。
本节的主要内容是使用openpyxl来读取Excel表,你将掌握阅读数据表的方法,阅读从简单到复杂的各种例子,并将他们转化成Python内更有用的数据类型。让我们开始这一最重要的操作吧!
本节所涉及的数据集:
![0bb0a718ae50cd972b33d0448f5d3f1a.png](https://i-blog.csdnimg.cn/blog_migrate/0842f66c779592d9ef6415f5592b19d2.jpeg)
本数据集来自亚马逊在线商品评论的真实数据,这只是Amazon商品的一小部分,但对于我们学习来说也足够了
请下载本数据集并存为“sample.xlsx”
简单阅读Excel表格的Python代码
![3cccdb1258767221027cf686e1353d28.png](https://i-blog.csdnimg.cn/blog_migrate/dd83d7dd40cfe5e298d2c3cb472e8333.png)
在上面的代码中:
- 首先用 load_workbook 方法打开了名为sample.xlsx的数据表,然后就可以使用workbook.sheetnames来查看所有你可用的sheet
- workbook.active 方法选择了第一个可用的sheet
- 使用该方法是默认的打开电子表的方法,在该教程中你会看到很多次
打开数据表之后,我们可以很容易的检索数据表:
![b688a1937c7d2db72a0dd426e8ae3f21.png](https://i-blog.csdnimg.cn/blog_migrate/d75ebec8989e2869cc0712879723710a.png)
为了返回这个单元的具体数值,你需要使用.value,否则你得到的就会是这个对象。你也可以使用.cell() 通过指针符号检索数据,如下:
![8bbfda8d51d4f9418c2dfd7de6f549bb.png](https://i-blog.csdnimg.cn/blog_migrate/487717b0198b743cc5488fa1d2bbf548.png)
记住,要得到单元格的具体值而非单元格这个对象,就要使用.value来取值
你可以看到,不管你选用上述哪种方式定位单元格并取值,得到的结果相同。在本课程中,我们更多使用第一种:["A1"]来定位单元格
注意,即使你在Python中使用 0 索引表示法,但在数据表中,你需要使用 1 索引法,(也就是说在Python中索引从0开始,但使用openpyxl时索引从1开始)
上述讨论了打开数据表最快的方法。然而,你可以通过传递其他参数来改变数据表的加载方式。加载方式如下所示。
其他的加载选项
在调用load_workbook() 时,你可以传递一些参数来改变数据表的加载方式。最重要的是如下两种:
- read_only:只读模式允许你打开非常大的Excel文件来加载数据表
- data_only:仅加载数据模式忽略加载公式,而只是加载结果数据
从数据表导入数据
现在你已经学习了加载数据表的基础,是时候进入有趣的环节了:迭代、在数据表中正式使用数值。在这部分,你将会学到所有你可能会用到的遍历数据方式,同时也会学到如何通过转换使得数据更加有用,当然,是以我们Pythonic方式啦。
遍历数据
根据不同的需求,有很多种不同的方法转换数据。你可以行列结合来切分数据:
![ed64df57f7e9d4561cc32f5a0b48eb92.png](https://i-blog.csdnimg.cn/blog_migrate/393cf3ad3b3947f8338ce7f7fd819ee3.png)
你可以得到行或列的范围:
![e84c3db90ad113fb4242869608ce4c3b.png](https://i-blog.csdnimg.cn/blog_migrate/922e9db9576df2c6522ea28f4426408d.jpeg)
![870dc615996ce5f992a89e302132039c.png](https://i-blog.csdnimg.cn/blog_migrate/722f1be01ad49f9e72800f73f6666e79.jpeg)
![4da876e86f8326df0eb91748470abcd5.png](https://i-blog.csdnimg.cn/blog_migrate/a848badf244ffdb40208b851a50a0d1d.jpeg)
![cb184ed67e10d1362a30852e19940596.png](https://i-blog.csdnimg.cn/blog_migrate/208fc82dad25ef09749b5b1249b1afed.jpeg)
你会注意到所有上述所有例子都返回 tuple,如果你想回忆Python如何操作list和tuple的话,请看这篇文章:
Lists and Tuples in Python – Real Pythonrealpython.com![6c3d884eae306d07164130199e89bdbb.png](https://i-blog.csdnimg.cn/blog_migrate/4ceebdd384aaf14da790b23e8f8ffc03.jpeg)
还有多种使用Python生成器来浏览数据的方法,你能用于实现的主要有:
- .iter_rows()
- .iter_cols()
这两个方法都可以接收如下用于设置迭代的边界的参数:
- min_row
- max_row
- min_col
- max_col
示例如下:
![e1325a94f34ca9a0021f34cc1f2dd59c.png](https://i-blog.csdnimg.cn/blog_migrate/ebd7727bb6374e8329c64d881a078b47.jpeg)
![310e91827739e608030425714468e79a.png](https://i-blog.csdnimg.cn/blog_migrate/632520c6390dcf4f3f67dc42c9114530.jpeg)
你可能注意到了:在使用.iter_rows() 时,你每行得到一个选中的元组,而当你使用.iter_cols()时,你每列得到一个元组。
在上述的两个方法之中你都可以传递布尔值“values_only”,当该值被设置为True时,单元格的值而非单元格对象本身被返回:
![42c497e0d3d52c14e0dc0cf8e06ad156.png](https://i-blog.csdnimg.cn/blog_migrate/9429bce02066642357082c09055c05c3.png)
如果你想遍历整个数据集,那么你可以直接使用.rows,.columns等属性,这些属性是.iter_rows() 和.iter_cols() 无参数时的特例。
![b0b7ffd8305812150d14c34d1399f5a0.png](https://i-blog.csdnimg.cn/blog_migrate/76eb04e085b73aee65fd35fa57953ff5.jpeg)
使用Python内部数据结构操作数据集:
现在你了解了遍历电子表格的数据的基础,让我们来看看如何将电子表的数据转换到Python的聪明方式吧!
正如你之前所看到的,通过迭代得到的结果都保存在元组中,然而,元组也不过是个不可变的列表,所以你可以轻松的获得元组数据并将它们转换为其他结构的数据。
例如,假设你想把sample.xlsx 中的数据抽象出产品信息并放进一个以产品id为key的dict,最直接的方法是遍历所有的行,挑选出你知道的与产品信息有关的列,然后将其存在字典里。让我们试试看!
第一步:查看表头,看看你最关心的有什么信息
![ef43e07e0b055e1c8d212536d721cb45.png](https://i-blog.csdnimg.cn/blog_migrate/a12be8ae2cffc8500a1dc0c82b63eb45.png)
首先,提取出如下列:
- product_id
- product_parent
- product_title
- product_category
很幸运的是,我们想要的数据都挨在一起,你可以使用min_col和max_col来很容易得到你想要的信息:
![07d162a9b19a2ddaba9cafbb17656e80.png](https://i-blog.csdnimg.cn/blog_migrate/a5a6582e4995f661a9fd9ae780a4d15a.jpeg)
非常好,你现在已经知道如何得到你需要的重要的产品信息了!现在我们把它放进字典中:
import json
from openpyxl import load_workbook
workbook = load_workbook(filename="sample.xlsx")
sheet = workbook.active
products = {}
# 使用values_only返回单元格的值
for row in sheet.iter_rows(min_row=2,
min_col=4,
max_col=7,
values_only=True):
product_id = row[0]
product = {
"parent": row[1],
"title": row[2],
"category": row[3]
}
products[product_id] = product
print(json.dumps(products))
这段代码将表格中除了第二行的每一行,4-7列的每一列打印出来,如图所示:
![fcad0fea70056cb5ad74cd41a819453c.png](https://i-blog.csdnimg.cn/blog_migrate/cc96975be1f9febe0b3f6b48ec9a4d09.jpeg)
将数据转换到Python类中
为了完成本课程对Excel的读取部分,我们现在要深入到Python类中,看看你能在上面的案例的基础上如何提升并对数据进行更好的结构化。
关于数据类的教程我们将在其他专栏中专门介绍,为了完成上述目的,你应该使用从Python3.7开始支持的数据类。如果你使用老版本的Python,你可以使用默认的类来替代。
在一切开始之前,让我们看看你有什么数据,并且决定你想保存哪些,怎么保存吧。
正如你在开始看到的,这些数据来源于亚马逊的商品评论列表,你可以在如下链接查看这些数据的所有属性及其含义:
从数据中,有如下两个明显元素你可以从中提取:
- Product
- Reviews
每个产品有:
- ID
- Title
- Parent
- Category
评论有如下字段:
- ID
- Customer ID
- Stars
- Headline
- Body
- Date
import
在定义你的数据类型之后,你需要将数据表中的数据转换到这些新的数据结构中。
在做这个转换之前,我们应该再次查看数据头,在列和字段之间创建映射关系:
![2b3974217fab07e14654a5718f82daee.png](https://i-blog.csdnimg.cn/blog_migrate/023e1bf14c2ab91717736207a0a18208.png)
![4dcd963f4d655d5dcdd897784fb34b2c.png](https://i-blog.csdnimg.cn/blog_migrate/c16eeb87c9ceff38d7a8229bb3c0a5e2.png)
让我们创建一个文件mapping.py,在这个文件中包含所有字段名和他们的列的位置的列表。
![5445f9778ee80c02c8c1dd06ff050d5a.png](https://i-blog.csdnimg.cn/blog_migrate/2ff2b3060d27ab9d936d2bafab67d6d4.png)
你并不一定要执行上面的映射,但解析行数据时这样做更具有可读性,这样的话在执行结束后不会有一堆看起来奇怪的数字。
最后,让我们看看解析单元表数据到一个包含很多产品和评论的对象的列表需要哪些代码:
from
运行该代码后,得到如下输出:
![4c60a3f0a074380c24364a69e0ddce2a.png](https://i-blog.csdnimg.cn/blog_migrate/e1f1c28b05a97cf5a2f4ee9db32c1240.jpeg)
这就对了! 现在你得到了如此简单易懂的类形式的数据,你可以开始考虑将他们存在数据库里,或者任何别的类型的形式了!
使用这种面向对象的策略来解析数据表使得以后处理数据如此简单!