python爬虫：王祖贤海报

nielaishan

于 2020-05-06 14:46:59 发布

阅读量251

点赞数

分类专栏： python爬虫文章标签： xpath python selenium chrome

本文链接：https://blog.csdn.net/NLSQQ/article/details/105949909

版权

本文介绍了使用Python结合Selenium和XPath工具，详细解析了如何自动化抓取网页上的王祖贤海报图片，包括设置Chrome浏览器配置、定位元素及保存图片的步骤。

摘要由CSDN通过智能技术生成

import requests as req
from lxml import etree
# 引入webdriver，自动操作chrome浏览器
from selenium import webdriver
# 引入Chrome浏览器插件，相关说明：https://pypi.org/project/webdrivermanager/
from webdriver_manager.chrome import ChromeDriverManager
import os
request_url = 'https://movie.douban.com/subject_search?search_text=王祖贤&cat=1002'
# 可使用XPath helper插件实现，定位对象
src_xpath = "//div[@class='item-root']/a[@class='cover-link']/img[@class='cover']/@src"
title_xpath = "//div[@class='item-root']/div[@class='detail']/div[@class='title']/a[@class='title-text']"
driver = webdriver.Chrome(ChromeDriverManager().install())
picpath = '/Users/nielaishan/Downloads/王祖贤海报'
if not os.path.isdir(picpath):
    os.mkdir(picpath)
def download(src, id):
    dic = picpath +