python访问url_如何访问所有URL的Selenium Python

小编典典

您的问题是使用以下方法导致的 错误做法 的结果：

try:

do something

except:

pass

在这一行代码中，您无法捕获有关程序为何按预期运行的任何信息。 它引发的异常可以帮助您改进代码，而不要像这样那样对待它。

现在，回到您的问题。在您的代码中，存在一些逻辑错误，例如[@Mohammad Rakib

Amin的answer]。因此，对您的代码进行一些更改，您得到了：

from selenium import webdriver

browser = selenium.Chrome()

browser.get('https://www.google.co.uk/search?q=Rashmi&oq=Rashmi&aqs=chrome..69i57j69i60l3.6857j0j1&sourceid=chrome&ie=UTF-8#q=Rashmi+Custom+Tailors')

time.sleep(5)

p_links = browser.find_elements_by_css_selector(' div > h3 > a')

for urls in p_links:

if "Rashmi Custom Tailors" in urls.text:

url = urls.get_attribute("href")

browser.get(url)

time.sleep(4)

但这并不能解决您的问题，您的浏览器只会像您描述的那样访问此第一个URL并引发Exception：

StaleElementReferenceException: Message: stale element reference: element is not attached to the page document

抛出此异常是因为在第二个循环期间，您正在使用的元素不再附加到浏览器的当前页面。

一个解决方案就像您所做的一样，查找所有元素并将所有url附加到列表中。您可以像这样遍历该列表，它在我的计算机上运行良好。试试吧：

from selenium import webdriver

browser = webdriver.Chrome()

query_url = "https://www.google.co.uk/search?q=Rashmi&oq=Rashmi&aqs=chrome..69i57j69i60l3.6857j0j1&sourceid=chrome&ie=UTF-8#q=Rashmi+Custom+Tailors"

browser.get(query_url)

p_links = browser.find_elements_by_css_selector("div > h3 > a")

urls = []

for elem in p_links:

text = elem.text

url = elem.get_property('href')

if "Rashmi Custom Tailors" in elem.text:

urls.append(url)

for url in urls:

browser.get(url)

也许您indent error在第二个循环中做了一些。

PS：您的问题应该包含所有需要的代码，这样其他人可以更轻松地为您提供帮助。

2020-06-26