selenium模拟登陆知乎

from selenium import webdriver
from bs4 import BeautifulSoup
import time
 
#selenium模拟登陆知乎
browser=webdriver.Chrome()
browser.get('http://www.zhihu.com#signin')
browser.find_element_by_class_name('qrcode-signin-cut-button').click()
browser.find_element_by_name('account').send_keys('18251552002')
browser.find_element_by_name('password').send_keys('000189')
time.sleep(5)  #手动输入验证码
browser.find_element_by_class_name('sign-button').click()
time.sleep(2)

browser.get('http:www.zhihu.com')
browser.execute_script("window.scrollTo(0,document.body.scrollHeight)")
time.sleep(2)   #模拟下拉获取ajax加载的内容
# browser.execute_script("window.scrollTo(0,document.body.scrollHeight)")
# time.sleep(2)
soup=BeautifulSoup(browser.page_source,'lxml')
titles=soup.find_all('h2',class_='ContentItem-title')
news=[]
for title in titles:
    info={}
    info['title']=title.find('a').get_text()
    print(info)
    news.append(info)
print(len(news))
# LOL Seleium
def seleium_crawl(start_page,need_page):
    browser = webdriver.Chrome()
    browser.get("http://lol.qq.com/guide/list.shtml")
    already_page=0
    time.sleep(1)
    browser.find_element_by_css_selector('#list_page input').clear()
    time.sleep(1)
    browser.find_element_by_css_selector('#list_page input').send_keys('%d'%start_page)
    time.sleep(1)
    browser.find_element_by_css_selector('.pagejump').click()
    time.sleep(2)
    for i in range(start_page,start_page+need_page):
        html=browser.page_source
        soup=BeautifulSoup(html,'lxml')
        all_news=soup.find('ul',id='list_content').find_all('li')
        for news in all_news:
            new_info={}
            new_info['title']=news.find('p',class_='btn-a').get_text()
            new_info['read_num']=news.find('p',class_='bfl-playing').get_text()[4:]
            new_info['time']=news.find('span',class_='recommend-div-div-raiders-date fr').get_text()
            print(new_info)
        print('第%d页'%(start_page+already_page))
        already_page += 1
        try:
            browser.find_element_by_class_name('pagenext').click()
            time.sleep(1)
        except:
            break
    browser.close()

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值