爬取豆瓣热映电影信息（爬虫实例）

最新推荐文章于 2020-12-28 16:00:58 发布

Havertz_2024

最新推荐文章于 2020-12-28 16:00:58 发布

阅读量866

点赞数 2

分类专栏： spider_learning 文章标签： python

本文链接：https://blog.csdn.net/qq_38480908/article/details/107758835

版权

本文是作者在学习requests和xpath后的爬虫实例应用，通过Python爬取并展示了豆瓣热映电影的数据，同时分享了学习过程中的反思。尽管作者近期因个人情感困扰影响了学习状态，但仍表达了对前女友的美好祝愿和继续努力生活的决心。

摘要由CSDN通过智能技术生成

1、序言

在学习完requests网络请求方法和xpath数据解析方法之后，今天通过一个实例来对前面所学的知识进行巩固，也算是一种学以致用吧！

2、代码

# 0、导入所需要的包
import requests
from lxml import etree

# 1、信息的获取
headers = {
   
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36"
    ,"Referer": "https://movie.douban.com/"
}
url = "https://movie.douban.com/cinema/nowplaying/beijing/"
response = requests.get(url,headers=headers)
text = response.text

# 2、信息的清洗
## 2.1 首先使用etree构造一个实例，方便后续使用xpath进行数据解析
html = etree.HTML(text)

## 2