多进程,Request+正则表达式爬取榜单类网站

本文是利用多进程、requests库和正则表达式,爬取猫眼电影的TOP100的榜单。
1:requests库的安装及详细用法
关于requests库的具体安装方法,详见博客:http://blog.csdn.net/qq_29186489/article/details/78581249;request库的介绍以及用法,请参见博客:http://blog.csdn.net/qq_29186489/article/details/78620663
2:正则表达式的详细用法
正则表达式的详细用法请参见博客:http://blog.csdn.net/qq_29186489/article/details/78635640
3:爬取猫眼电影
1)爬虫思路分析
本次爬取的对象是猫眼电影的TOP100的榜单。
先打开猫眼电影的TOP100的榜单的页面,如下图所示:
这里写图片描述
我们的目的是爬取TOP100电影榜单的100部电影的排序、电影名称、电影的主演、上映的时间、分数等信息,打印输出并保存至本地。
2)网页结构分析
观察网页,本次爬取任务大致可以分为三个步骤
爬取单个电影的电影的序号、电影名称、电影的主演、上映的时间等
分析整个网页,遍历获取该页面上所有电影的信息
实现翻页,遍历每个页面获取该榜单所有的100个电影的信息;观察URL,翻页可通过改变offset实现,http://maoyan.com/board/4?offset=(页数-1)*10
利用chrome浏览器,审查网页源代码,每部电影的整体信息都被dd标签包围,如下所示:

  • 2
    点赞
  • 8
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值