selenium爬取某生活分类网站点击事件后弹出的信息

from selenium import webdriver
import pickle


url='https://bj.58.com/zhuanye/37291869116169x.shtml?'
base_url='https://passport.58.com/login/'

browser=webdriver.Firefox()
browser.get(base_url)
browser.implicitly_wait(10)

#切换密码登录
submit1=browser.find_element_by_class_name('pwdlogin')
browser.execute_script("arguments[0].click();", submit1)
browser.implicitly_wait(20)

#切换到账号密码登录方式

#输入账号
submit2=browser.find_element_by_id('usernameUser').send_keys('******')
browser.implicitly_wait(20)

#输入密码
js = 'document.getElementById("passwordUser").style.display="block";'
browser.execute_script(js)
browser.implicitly_wait(20)
submit3=browser.find_element_by_id('passwordUser').send_keys('*******')
browser.implicitly_wait(20)

#点击登录
submit =browser.find_element_by_class_name('submit')
browser.execute_script("arguments[0].click();", submit)
browser.implicitly_wait(10)
#验证登录是否成功
try:
    browser.find_element_by_class_name('uc-uname')
except:
    print('登录失败')
#保存cookies
pickle.dump(browser.get_cookies(),open("cookies.pkl", "wb"))

#刷新浏览器
browser.refresh()
browser.implicitly_wait(20)

#读取cookies流
cookies = pickle.load(open("cookies.pkl", "rb"))
#构造cookies
for cookie in cookies:
    cookie_dict = {
      # domain火狐浏览器不用填写,谷歌要需要
     'name': cookie.get('name'),
     'value': cookie.get('value'),
     "expires": "",
     'path': '/',
     'httpOnly': False,
     'HostOnly': False,
     'Secure': False}
     #添加cookies
    browser.add_cookie(cookie_dict)

browser.implicitly_wait(20)
#登录目标页面
browser.get(url)#browser.implicitly_wait(20)
browser.implicitly_wait(20)
#点击申请
submit11 =browser.find_element_by_class_name('btn.btn-orange.btn-large.applyJobBtn')
browser.execute_script("arguments[0].click();", submit11)

#弹出的指示框架,选择‘关闭’
submit12 = browser.find_element_by_id('close-guide')
browser.execute_script("arguments[0].click();", submit12)

browser.implicitly_wait(3)
submit13 = browser.find_element_by_class_name('pos_operate_item.showPhoneBtn')
browser.execute_script("arguments[0].click();", submit13)

teacher_tel=browser.find_element_by_xpath('//div[@class="tan"]/p').get_attribute('textContent')
print(teacher_tel)

 

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值