Python抓取花瓣网高清美图，手把手教你5G时代Webview的正确使用姿势

Paste_Image.png

四：实战代码

======

1.第一步导入本次爬虫需要的模块

author = ‘布咯咯_rieuse’

from selenium.webdriver.common.by import By

from selenium.webdriver.support import expected_conditions as EC

from selenium.webdriver.support.ui import WebDriverWait

from selenium import webdriver

import requests

import lxml.html

import os

2.下面是设置webdriver的种类，就是使用什么浏览器进行模拟，可以使用火狐来看它模拟的过程，也可以是无头浏览器PhantomJS来快速获取资源，[‘–load-images=false’, ‘–disk-cache=true’]这个意思是模拟浏览的时候不加载图片和缓存，这样运行速度会加快一些。WebDriverWait标明最大等待浏览器加载为10秒，set_window_size可以设置一下模拟浏览网页的大小。有些网站如果大小不到位，那么一些资源就不加载出来。

SERVICE_ARGS = [‘–load-images=false’, ‘–disk-cache=true’]

browser = webdriver.PhantomJS