PowerBI批量获取多页数据方法

 本文提供2种方式，不同点在于构建函数的方法，主要看个人更喜欢哪一种。

第一步：分析网页页码规律

例1：页码间隔计数25，生成页码公式：listnumbers(0,25,50)

 例2：按页计数  生成页码公式 listnumbers(1,50)

注意：有的只有一个参数变化，有的同时变化多个参数,多点几页进行观察

第二步：获取数据

例子： 

 方法一：

1.构建页码规律：点击powerBI转换数据进入powerquery

 2.获取数据：powerBI获取数据——WEB

注意：提示是否挂起，点击应用挂起

 

3. 函数命名（函数构建完成）

4.生成页码:（有例子）

 如果不是间隔的，链接参数就是1，2，3这样的直接listnumbers(1,20)

5.页码处理

 

 

 后续数据就会出来，可自行处理

 参考连接：最简单易学的网页爬虫技术，Power BI三步抓取考拉海购商品数据！ - 知乎

方法二：

第一步：powerbi获取数据——web——数据连接——转化数据

第二步：生成函数（这一步可抓取一页数据）

(p as number) as table=>
"&(Number.ToText(p))&"

 

 第三步：生成页码（抓取多页数据）

步骤和方法一相同：点击新建源——空查询——生成页数——到表——调用函数

参考连接：Power BI批量获取网页数据——阳光高考全国高校基础数据分析（1）_jxiaoin的博客-CSDN博客_powerbi抓取网页数据