查看原始URL的响应,它只包含指向新URL的HTML重定向:
Single Document假设响应总是具有相同的格式/内容,那么可以使用RegEx从该响应轻松捕获子URL,如下所示:
^{pr2}$
那就去吧。现在所有这些都可以通过请求完成,所以您不需要等待Selenium!在
以下是使用上述技巧后的代码:import time, requests, re
from bs4 import BeautifulSoup
start_time = time.time()
root_url = "http://patft.uspto.gov"
r = requests.get(root_url + "/netacgi/nph-Parser?patentnumber=3,930,293")
r = requests.get(root_url + re.search('CONTENT="1;URL=(.+)"', r.text).group(1))
soup = BeautifulSoup(r.text, 'lxml')
for tag in soup.find_all(string='Current U.S. Class:'):
table = tag.findParent('table')
result = table.find('tr').text
print(result)
print(time.time() - start_time)
输出:Current U.S. Class: 29/428; 28/284; 28/297; 8/155
2.2239434719085693