qq_62330463的博客

原创 2021-10-20

首先要找到要爬虫的网页，这里是豆瓣电影top250。然后通过 F12 查看网页源代码，检查元素，定位要爬取的信息，这里可以右击复制xpath，用于爬虫定位。用Python写网络爬虫观察一下网页，可以发现一共有10页，每页有25部电影，每页的域名有相似之处。所以，可以写一个循环，下载每一页的网站，得到该网站所有的电影链接，然后内部再写一个循环，下载每页的电影链接，爬取需要的内容信息。 import requests from bs4 import BeautifulSoup import pandas as