猪肉价格是今年年底最热门的话题了,真是贵到肉疼啊。
![b47535a5440a2f774ec0574f22510386.png](https://img-blog.csdnimg.cn/img_convert/b47535a5440a2f774ec0574f22510386.png)
网上搜索了一下,找到一个又猪肉报价的网站,白条肉以公斤为单位的报价,所谓白条肉就是指仅去除内脏、头、脚等部位后没有经过其他任何加工的猪肉。
![53f00732bdd74b8042d7f4ddc3ccffa3.png](https://img-blog.csdnimg.cn/img_convert/53f00732bdd74b8042d7f4ddc3ccffa3.png)
这个价格应该是商贩从屠宰厂采购的价格,不是我们市场上的零售价格。
一共有260页的报价,应该是从2019年9月30日到2019年10月30日一个月的各地区报价。
我们网络抓取的4个步骤:
- 网站分析
- 试抓
- 定义函数
- 抓取
第一步:分析
网址中有page页码,我们可以直接通过变换页码的方式,抓取全部页面的数据。
https://bj.zhue.com.cn/list.php?sort=0&s_id=10&c_id=0&cou_id=0&city_id=0&mid=&lx=&page=259
其他参数保持不变,就是全部数据,如果有选择,就是部分地区、或不同分类的报价。
第二步:试抓
我们用从Web获取数据来抓取最后一页的内容,默认是Html格式抓取,我们看到有两个表格,其中第一个表格就是我们需要的数据。
![0ff0166a11043bc4d66134ed91a891d1.png](https://img-blog.csdnimg.cn/img_convert/0ff0166a11043bc4d66134ed91a891d1.png)
我们选这个表格,删除第一行,然后首行做标题,变成一个标准数据表。
![bb37692ce95f6bfb63a3f84ff727db66.png](https://img-blog.csdnimg.cn/img_convert/bb37692ce95f6bfb63a3f84ff727db66.png)
第三步:自定义函数
我们在这个试抓的查询上右键,创建函数:
![7b033161950e6e37e7e88673346d9197.png](https://img-blog.csdnimg.cn/img_convert/7b033161950e6e37e7e88673346d9197.png)
用页码p做为函数的参数,把参数p放到"page="的后面用&连接。这样这个自定义函数就做好了。
第四步:抓取
首先我们需要一个列表{1..260}
![b5d249ade367a46800624a12ccd732cb.png](https://img-blog.csdnimg.cn/img_convert/b5d249ade367a46800624a12ccd732cb.png)
左上角到表的按钮,按一下列表转换成表格,修改数据类型为文本。添加自定义列,引用我们的自定义函数,抓取数据:
![5181b96f6e95cc7b6259ecf270f0b9a2.png](https://img-blog.csdnimg.cn/img_convert/5181b96f6e95cc7b6259ecf270f0b9a2.png)
要等上一段时间,看网络的速度,大概三分钟左右,数据就抓好了,展开表格,去掉单位,改变数据类型,把数据整理好,抓取工作就完成了。
![2791916f8021995935b00fdeeb5d62b8.png](https://img-blog.csdnimg.cn/img_convert/2791916f8021995935b00fdeeb5d62b8.png)
数据加载到Power BI Desktop中,我们做个简单的分析:
![fb0a3e40e2571769ab2781399e33baee.png](https://img-blog.csdnimg.cn/img_convert/fb0a3e40e2571769ab2781399e33baee.png)
用切片器+折线图来呈现猪肉价随时间变化的趋势,可以通过切片器来单选或多选省区,来做猪肉价格变化趋势的对比。
![8dca3106c7b3bc6dbb0d719689278a06.png](https://img-blog.csdnimg.cn/img_convert/8dca3106c7b3bc6dbb0d719689278a06.png)
到10月30日,黑龙江的肉价最贵,61元/公斤,北京最便宜31元/公斤,这还是只是没有分割的白条肉,如果变成五花肉、排骨、精肉价格还要高上很多。
从图像上看10月快结束的时候出现了奇怪的现象,有些地区价格急剧下降,有些地区价格急速升高,不知道又有什么新的情况发生。
![2d34ff0348f9954383e32b16bfa75a50.png](https://img-blog.csdnimg.cn/img_convert/2d34ff0348f9954383e32b16bfa75a50.png)
肉价回落,首都又走在了全国的前列。