使用多线程高效爬取北京新发地蔬菜价格
示例网址:每日价格行情 - 北京新发地市场
爬取步骤:1、进入网站右键查看网站源代码,查看是服务器渲染还是客户端渲染,这里通过查看后发现了相应文字。
知道是服务器渲染后,直接F12框选下图,找到价格表的html代码部分。
2、找到价格表的html代码块后查看到,第一个tr是写着表头信息等,所以我们这段信息可以是不要的;随后查看后面的代码块后发现是描述表格内蔬菜价格日期的数据,然后就可以确定除了第一个html代码块不是此次爬取需要的(这里需要的也可以加上)
3、确定我们需要采集的数据范围后,开始代码实现:
4、最后再查看我们保存的csv文件。成功ok完成。