python读取网页源代码_使用selenium webdriver python获取页面源代码

我取消了一些网站和它的动态工作。我要去一个网站的所有页面,同时我要所有页面的所有页面源数据列表。

这是我的代码移动到所有的页面并获取它们的页面源代码。但函数末尾没有打印或返回。

我是为其他网站做的,但不是这里。

请帮我摆脱困境。

谢谢你def get_html(driver):

output = []

keep_going = True

while keep_going:

# Pull page HTML

try:

output.append(driver.page_source)

except TimeoutException:

pass

try:

# Check to see if a "next page" link exists

keep_going = driver.find_element_by_class_name(

'next ').is_displayed()

except NoSuchElementException:

keep_going = False

if keep_going == True:

try:

driver.wait.until(EC.element_to_be_clickable(

(By.CLASS_NAME, 'next '))).click()

time.sleep(3)

except TimeoutException:

keep_going = False

else:

keep_going = False

print(str(len(output)))

return (output)

raw_data = get_html(driver)

print(str(len(raw_data)) listing found")

这是我得到的错误输出。在

^{pr2}$

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值