所以我试图在我的WebDriver中打开新标签页上的网站。我想这样做,因为使用PhantomJS为每个网站打开一个新的WebDriver大约需要3.5秒,我想要更高的速度。。。
我正在使用一个多进程python脚本,我想从每个页面获取一些元素,因此工作流如下:Open Browser
Loop throught my array
For element in array -> Open website in new tab -> do my business -> close it
但我找不到任何方法来实现这一点。
这是我正在使用的代码。网站之间需要一段时间,我需要它快一点。。。允许使用其他工具,但我不知道有太多的工具可以取消使用JavaScript加载的网站内容(加载时触发某个事件时创建的div等),这就是为什么我需要Selenium。。。美组不能用在我的一些页面上。#!/usr/bin/env python
import multiprocessing, time, pika, json, traceback, logging, sys, os, itertools, urllib, urllib2, cStringIO, mysql.connector, shutil, hashlib, socket, urllib2, re
from selenium import webdriver
from selenium.webdriver.common.keys import Keys
from PIL import Image
from os import listdir
from os.path import isfile, join
from bs4 import BeautifulSoup
from pprint import p