爬虫实战(8)-爬取豆瓣网最近要上映的电影

最新推荐文章于 2021-03-01 20:52:54 发布

炒冷饭

最新推荐文章于 2021-03-01 20:52:54 发布

阅读量1.3k

点赞数 2

分类专栏： # 爬虫 python

本文链接：https://blog.csdn.net/qq_40742223/article/details/105547863

版权

本文分享了一次爬取豆瓣网最近要上映电影的爬虫实战，通过代码实现爬虫功能，并强调了调试和逐步输出的重要性。文章中遇到的问题和解决方案也有记录，同时提供了系列爬虫文章的传送门。

摘要由CSDN通过智能技术生成

下饭文章,客官里面请,看菜单,先点菜吧

菜单

这次就是一个豆瓣网近期要上映电影的爬虫
写在后面:

这次就是一个豆瓣网近期要上映电影的爬虫

废话不多说了,直接上代码吧:

特别注意本文直接看代码,文中的重要知识点,有注释,本文用到的知识点在我之前的文章中全部都有详细的讲解.
文中部分代码注释,是我在爬虫中写代码的步骤,代码永远不是一次写成,要逐步调试,步步简单输出,这样代码发生错误后,很好修改.很快的能确定错误的地方.

#encoding: utf-8
import requests
from lxml import etree
import csv
headers ={
   
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.92 Safari/537.36',
    'Referer': 'https://movie.douban.com/'
}
url = 'https://movie.douban.com/cinema/later/xian/'
response = requests.get(url,headers=headers)
text = response.text

#数据解析
html = etree.HTML(text