Power Query获取网页信息

Power Query获取网页信息

获取网页信息的过程

  • 确定要获取信息所在网站
  • 解析网址
  • 明确应使用什么函数取数(Web.Page(Web.Contents(“网址”)))
  • 明确所要数据在网址全部数据中的什么位置
  • 创建参数表或自定义函数,批量或灵活爬取所要信息

示例

用自定义函数爬取大气质量数据(提示:用文本型参数指定城市名称)
网址:http://www.air-level.com/

方案一:获取单个城市

  1. 打开Power Query,新建源—>空查询
  2. 点击高级编辑器
    在这里插入图片描述
  3. 点击“完成”后,输入参数,如beijing
    在这里插入图片描述
  4. 调用成功后,出现下面的界面是整个网页的信息:
    在这里插入图片描述
  5. 分别点击调用成功界面右侧的table,寻找所需数据,发现第一行table里的数据真是所需要的
    在这里插入图片描述
  6. 点击Power Query左侧的查询–>高级编辑器

在这里插入图片描述

  1. 取“源”中的数据,即表中第一行的“Data”字段

在这里插入图片描述

  1. 输入参数,调用,就可得到需要的信息
    在这里插入图片描述

方案二:批量获取城市信息数据

  1. 打开Power BI,点击“主页–>“获取数据”–>Web
    在这里插入图片描述
  2. 点击“确定”后,点开显示选项下的表,确定那个表中数据是我们需要的
    在这里插入图片描述
  3. 加载完成后,点击主页下的转换数据,进入Power Query
    在这里插入图片描述
  4. 批量输入城市名,点击主页下的输入数据,然后依次输入城市名拼音
    在这里插入图片描述
  5. 添加列–>自定义列,添加网址信息
    在这里插入图片描述
  6. 点击确定,网址信息添加完成
    在这里插入图片描述
  7. 添加大气质量数据,点击自定义列
    在这里插入图片描述
  8. 提取表中第一行的“Data”字段,点击表上方的编辑栏,网址后面输入{0}[Data],再点击大气质量数据字段右侧,将“使用原始列名作为前缀”前的√去掉
    在这里插入图片描述
  9. 点击确定,就可得到四个城市的大气质量数据
    在这里插入图片描述
©️2020 CSDN 皮肤主题: 深蓝海洋 设计师:CSDN官方博客 返回首页