爬虫实战：python 扩展库 urllib2 应用之如何自定义电影类型爬取豆瓣电影数据？

文末有福利领取哦~

👉一、Python所有方向的学习路线

Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。

👉二、Python必备开发工具

👉三、Python视频合集

观看零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

👉 四、实战案例

光学理论是没用的，要学会跟着一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。（文末领读者福利）

👉五、Python练习题

检查学习结果。

👉六、面试资料

我们学习Python必然是为了找到高薪的工作，下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料，并且有阿里大佬给出了权威的解答，刷完这一套面试资料相信大家都能找到满意的工作。

👉因篇幅有限，仅展示部分资料，这份完整版的Python全套学习资料已经上传

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化学习资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

1# 执行网页请求

2def req_url(self,full_url):

3 # 构造请求头

4 headers = {

5 # 随机生成一个 User-Agent

6 ‘User-Agent’: self.user_agent.random,

7 # 设置请求格式

8 “Accept”: “application/json, text/plain, /”,

9 # 允许请求语言

10 “Accept-Language”: “zh-CN,zh;q=0.8”

11 }

12 # 请求参数

13 params = {

14 ‘start’:self.begin,

15 ‘tags’:self.name

16 }

17 # 对中文参数编码

18 params = urllib.urlencode(params)

19 # 构造 Request 请求对象

20 request = urllib2.Request(headers=headers, url=full_url,data=params)

21 # 执行请求

22 response = urllib2.urlopen(request)

23 return response.read()

3、保存文件

1# 将爬取下来的 html 源代码保存

2def save_doc(self,html_doc, file_name):

3 print “开始保存文件:”, file_name

4 with open(file_name, ‘w’) as f:

5 f.write(html_doc)

6 print “完成文件:”, file_name, " 保存"

4、组装执行爬虫

1# 构造爬虫环境、并执行

2def run_spider(self):

3 # 根据页数定义文件名称

4 file_name = str(self.name) + ‘.html’

5 # 执行爬虫网页请求

6 html_doc = self.req_url(self.url)

7 # 保存文件

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化学习资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！