PBI培训(4):批量爬取web来源公开数据

本文介绍了使用Power BI(PBI)批量爬取网页公开数据的两种方法,涉及创建自定义函数、参数表、笛卡尔积计算等步骤,以实现数据的清洗和分析。详细阐述了每一步的操作细节,包括逆透视、参数创建和URL字符串处理。
摘要由CSDN通过智能技术生成

前言:最近项目上有爬数据需求,好在只需要公开信息,用PBI就可以搞定,故整理了一下爬数步骤,查阅了简书和知乎大佬的文章发现还是会踩坑,这里整理一版详细的记录下来方便理解。

  • 爬数方式:
  1. 爬单页数据并做简单清洗——创建自定义函数——高级编辑器修改函数代码增加参数——生成参数表——求参数笛卡尔积——自定义列引用函数——批量爬取网页数据
  • 目标网址:https://money.finance.sina.com.cn/corp/go.php/vFD_BalanceSheet/stockid/000002/ctrl/2012/displaytype/4.phtml

一、先介绍第一种方式:

1. 获取数据——Web

在这里插入图片描述

2. 基本——输入网址

在这里插入图片描述

3. 弹出的界面中发现很多表,逐个查看可以选出需要的表17,这里咱们选【转换数据】。注意,这里选择【加载】和【转换数据】均可,【加载】是指将表17加载到PBI桌面,【转换数据】是指将数据加载到Power Query编辑器。

在这里插入图片描述
在这里插入图片描述

4. 为避免后面批量采数出现重复标题行,选择将第一行用做标题

在这里插入图片描述
在这里插入图片描述

评论 5
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值