python循环出现错误、继续下一个_Python如何超时/中止并在“X”秒后继续循环迭代...

我目前正在浏览URL并在访问/抓取网站时抓取数据 .

有时一个网站将有一个不合理的长加载时间,没有错误,但不会完全加载,以允许chromedriver / urlopen完成/继续脚本,只是保持不稳定 .

动态测试元素的存在在这种情况下不起作用,因为页面不会完全加载,并且页面并不完全相同以测试固定元素(甚至不是像html或h1标签等丰富的标签) .

基本上我正在寻找一个代码,如果页面剂量加载,将在“x”秒后继续循环下一个循环

目前使用Selenium(chromedriver)和Beautifulsoup(BS4) .

def get_emails_from_list(links):

email=[]

for link in links:

driver.get(link)

html=driver.page_source

try:

raw = BeautifulSoup(html, 'html.parser').get_text()

emails = re.findall(r'[\w\.-]+@[\w\.-]+', raw)

for em in emails:

if em not in email:

email.append(emails)

except:

emails = re.findall(r'[\w\.-]+@[\w\.-]+', str(html))

for em in emails:

if em not in email:

email.append(emails)

try:

email2=list(itertools.chain(*email))

except:

email2=email

return email2

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值