powerbi中python网站数据_PowerBI/Excel批量爬取网页数据超详细流程

前面介绍PowerBI数据获取的时候，曾举了一个从网页中获取数据的例子，但当时只是爬取了其中一页数据，这篇文章来介绍如何用PowerBI批量采集多个网页的数据。(Excel中的Power query可以同样操作)

本文以智联招聘网站为例，采集工作地点在上海的职位发布信息。

下面是详细操作步骤：

(一)分析网址结构

打开智联招聘网站，搜索工作地点在上海的数据，

下拉页面到最下面，找到显示页码的地方，点击前三页，网址分别如下，http://sou.zhaopin.com/jobs/searchresult.ashx?jl=%e4%b8%8a%e6%b5%b7&sm=0&sg=fe782ca83bfa4b018d27de559d0a5db0&p=1

http://sou.zhaopin.com/jobs/searchresult.ashx?jl=%e4%b8%8a%e6%b5%b7&sm=0&sg=fe782ca83bfa4b018d27de559d0a5db0&p=2

http://sou.zhaopin.com/jobs/searchresult.ashx?jl=%e4%b8%8a%e6%b5%b7&sm=0&sg=fe782ca83bfa4b018d27de559d0a5db0&p=3

可以看出最后一个数字就是页码的ID，是控制分页数据的变量。

(二)使用PowerBI采集第一页的数据

打开PowerBI De