用多线程实现高效爬取

使用多线程高效爬取北京新发地蔬菜价格

示例网址:每日价格行情 - 北京新发地市场

爬取步骤:1、进入网站右键查看网站源代码,查看是服务器渲染还是客户端渲染,这里通过查看后发现了相应文字。

知道是服务器渲染后,直接F12框选下图,找到价格表的html代码部分。

2、找到价格表的html代码块后查看到,第一个tr是写着表头信息等,所以我们这段信息可以是不要的;随后查看后面的代码块后发现是描述表格内蔬菜价格日期的数据,然后就可以确定除了第一个html代码块不是此次爬取需要的(这里需要的也可以加上)

 3、确定我们需要采集的数据范围后,开始代码实现:

 4、最后再查看我们保存的csv文件。成功ok完成。

 

 

  • 1
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值