python webdriver简单实例：爬取网页图片

最新推荐文章于 2024-08-19 18:28:14 发布

Xiamen_wiley

最新推荐文章于 2024-08-19 18:28:14 发布

阅读量5.9k

点赞数 1

分类专栏： selenium python 文章标签：正则表达式爬虫 python webdriver

本文链接：https://blog.csdn.net/fgwvip123/article/details/52444561

版权

本文使用Python2.7结合webdriver爬取了http://tieba.baidu.com/p/4114581614中的food图片。首先通过webdriver获取网页源码，接着利用正则表达式匹配图片链接，最后保存图片到指定目录。

摘要由CSDN通过智能技术生成

Python2.7爬取网页：http://tieba.baidu.com/p/4114581614中的food图片

一、获取网页

首先，通过webdriver，获取该网页源码，然后通过正则表达式匹配出所有图片，最后将其保存在指定目录。

图片：

二、代码实现

#coding=utf-8  
import urllib,re,os  
from selenium import webdriver  
  
driver = webdriver.Firefox()  
  
def init():  
    driver.maximize_window()  
    driver.get("http://tieba.baidu.com/p/4114581614")  
    driver.set_page_load_timeout(60)  
      
def crawler():  
    content=driver.page_source  
    reg=r'src="(http://imgsrc.baidu.com/forum/w.+?\.jpg)"'  
    imglist=re.findall(reg,content)  
    print imglist  
    num=1  
    for imgurl in imglist: