用requests和beautifulsoup爬取豆瓣电影top250，代码及遇到的问题

最新推荐文章于 2024-10-09 21:53:44 发布

congtou5

最新推荐文章于 2024-10-09 21:53:44 发布

阅读量4.3k

点赞数

分类专栏：爬虫 python 文章标签： python requests beautifulsoup

本文链接：https://blog.csdn.net/feng_zi5/article/details/48240487

版权

使用Python的requests和beautifulsoup库爬取并解析豆瓣电影Top250，通过设置编码解决乱码问题，获取电影名称、排名和评分，并将结果保存到文件中。

摘要由CSDN通过智能技术生成

初始代码如下：# -*-coding:utf8-*-
import requests
from bs4 import BeautifulSoup

url='http://movie.douban.com/top250'
html=requests.get(url)
soup=BeautifulSoup(html)
print soup.title
结果报错（如下）和警告（略），

后来将代码改成如下，解决了问题# -*-coding:utf8-*-
import requests
from bs4 import BeautifulSoup

url='http://movie.douban.com/top250'
html=requests.get(url)
soup=BeautifulSoup(html.text,"lxml")
print