php 单选 传递 另一个 页_Power Query 抓取猪肉价格分析近一个月全国各地猪肉价格走势...

猪肉价格是今年年底最热门的话题了,真是贵到肉疼啊。

b47535a5440a2f774ec0574f22510386.png

网上搜索了一下,找到一个又猪肉报价的网站,白条肉以公斤为单位的报价,所谓白条肉就是指仅去除内脏、头、脚等部位后没有经过其他任何加工的猪肉。

53f00732bdd74b8042d7f4ddc3ccffa3.png

这个价格应该是商贩从屠宰厂采购的价格,不是我们市场上的零售价格。

一共有260页的报价,应该是从2019年9月30日到2019年10月30日一个月的各地区报价。


我们网络抓取的4个步骤:

  • 网站分析
  • 试抓
  • 定义函数
  • 抓取

第一步:分析

网址中有page页码,我们可以直接通过变换页码的方式,抓取全部页面的数据。

https://bj.zhue.com.cn/list.php?sort=0&s_id=10&c_id=0&cou_id=0&city_id=0&mid=&lx=&page=259

其他参数保持不变,就是全部数据,如果有选择,就是部分地区、或不同分类的报价。

第二步:试抓

我们用从Web获取数据来抓取最后一页的内容,默认是Html格式抓取,我们看到有两个表格,其中第一个表格就是我们需要的数据。

0ff0166a11043bc4d66134ed91a891d1.png

我们选这个表格,删除第一行,然后首行做标题,变成一个标准数据表。

bb37692ce95f6bfb63a3f84ff727db66.png

第三步:自定义函数

我们在这个试抓的查询上右键,创建函数:

7b033161950e6e37e7e88673346d9197.png

用页码p做为函数的参数,把参数p放到"page="的后面用&连接。这样这个自定义函数就做好了。

第四步:抓取

首先我们需要一个列表{1..260}

b5d249ade367a46800624a12ccd732cb.png

左上角到表的按钮,按一下列表转换成表格,修改数据类型为文本。添加自定义列,引用我们的自定义函数,抓取数据:

5181b96f6e95cc7b6259ecf270f0b9a2.png

要等上一段时间,看网络的速度,大概三分钟左右,数据就抓好了,展开表格,去掉单位,改变数据类型,把数据整理好,抓取工作就完成了。

2791916f8021995935b00fdeeb5d62b8.png

数据加载到Power BI Desktop中,我们做个简单的分析:

fb0a3e40e2571769ab2781399e33baee.png

用切片器+折线图来呈现猪肉价随时间变化的趋势,可以通过切片器来单选或多选省区,来做猪肉价格变化趋势的对比。

8dca3106c7b3bc6dbb0d719689278a06.png

到10月30日,黑龙江的肉价最贵,61元/公斤,北京最便宜31元/公斤,这还是只是没有分割的白条肉,如果变成五花肉、排骨、精肉价格还要高上很多。

从图像上看10月快结束的时候出现了奇怪的现象,有些地区价格急剧下降,有些地区价格急速升高,不知道又有什么新的情况发生。

2d34ff0348f9954383e32b16bfa75a50.png

肉价回落,首都又走在了全国的前列。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值