powerbi中python网站数据_Power BI应用实战：批量爬取网页数据

前面介绍PowerBI数据获取的时候，曾举了一个从网页中获取数据的例子，但当时只是爬取了其中一页数据，这篇文章来介绍如何用PowerBI批量采集多个网页的数据。

本文以智联招聘网站为例，采集工作地点在上海的职位发布信息。

下面是详细操作步骤：

(一)分析网址结构

打开智联招聘网站，搜索工作地点在上海的数据，

下拉页面到最下面，找到显示页码的地方，点击前三页，网址分别如下，

可以看出最后一个数字就是页码的ID，是控制分页数据的变量。

(二)使用PowerBI采集第一页的数据

打开PowerBI Desktop，从网页获取数据，从弹出的窗口中选择【高级】，根据上面分析的网址结构，把除了最后一个页码ID的网址输入第一行，页码输入第二行，

从URL预览中可以看出，已经自动把上面两行的网址合并到一起；这里分开输入只是为了后面更清晰的区分页码变量，其实直接输入全网址也是一样可以操作的。

(如果页码变量不是最后一位，而是在中间，应该分三行输入网址)

点击确定后，发现出来很多表，

从这里可以看出，智联招聘网站上每一条招聘信息都是一个表格，不用管它，任意选择一个表格，比如勾选Table0，点击编辑进入Power Query编辑器。

在PQ编辑器中直接删除掉【源】之后的所有步骤，然后展开数据，并把前面