python爬虫----初次使用selenium

这两天都在研究selenium，光是装这个鬼东西就费了好大劲

不过这东西确实挺好用的

为了熟悉使用selenium，我还是跟随大佬的脚步，用他们的项目来练练手

可以去看看 州的先生的知乎文章：https://www.zhihu.com/people/zmister/pins/posts。写的都很基础，容易理解

这次是要使用selenium来抓取QQ空间好友的说说

关于selenium的具体操作可以去看《selenium webdriver(python)第三版》，网上有资料。安装selenium的方法也在里面了

思路分析：

Selenium是一个用于Web应用的功能自动化测试工具，Selenium 直接运行在浏览器中，就像真正的用户在操作一样。

我用的是Chrome浏览器

1、首先访问好友空间，输入链接后，会有一个登录界面，这时候就要用selenium模拟人的操作完成登陆。

在做这一步时，在网页中右击点开审查元素，会帮你定位到想要的位置（很实用的一招，以前没怎么用过，这次学习了）

2、通过审查元素定位到说说那一部分，就可以抓取数据了

代码：

from selenium import webdriver
import time
from bs4 import BeautifulSoup

driver = webdriver.Chrome()
driver.maximize_window()



def get_friend_shuoshuo(qq):
    url = 'http://user.qzone.qq.com/{}/311'.format(qq)
    driver.get(url)
    time.sleep(3)#为了脚本运行的稳定性，需要脚本中添加等待时间
    print(url)
    
    try:
        driver.find_element_by_id('login_frame')
        a = True
    except:
        a = False


    #print('a ：' + str(a))
    
    if a == True:
        driver.switch_to_frame('login_frame')
        driver.find_element_by_id('switcher_plogin').click()#帐号密码登录
        driver.find_element_by_id('u').clear()
        driver.find_element_by_id('u').send_keys('你的qq')
        driver.find_element_by_id('p').clear()
        driver.find_element_by_id('p').send_keys('你的密码')
        driver.find_element_by_id('login_button').click()
        time.sleep(3)

    driver.implicitly_wait(3)#智能等待时间


    try:
        driver.find_element_by_id('QM_OwnerInfo_Icon')
        b = True
    except:
        b = False
        print('sorry,你没有权限访问该好友的空间')

    #print('b：' + str(b))


    if b == True:
        driver.switch_to_frame('app_canvas_frame')#框架定位，在审查元素中找到iframe的标签，括号里写id
        content = driver.find_elements_by_css_selector('pre.content')
        stime = driver.find_elements_by_css_selector('a.c_tx.c_tx3')
        

        count = 0
        for con,sti in zip(content,stime):
            count += 1
            print('第%d条' % count)
            print('内容：' + str(con.text))
            print('时间：' + str(sti.text))
            print('\n\n')
    else:
        print('出错了！')

    #pages = driver.page_source
    #soup = BeautifulSoup(pages,'html.parser')
    #print(soup)


    print("==========完成================")
            


qq = input('请输入要访问的qq：')
get_friend_shuoshuo(qq)

遇到的问题：

1、driver.switch_to_frame('login_frame')这一行代码，开始没弄明白。这一行是多层框架定位的意思

要在审查元素中找到iframe标签，才是这个框架的部分。括号里写id属性

2、driver.find_elements_by_css_selector（）返回的是一个list列表

3、在写完后，我还打算加上翻页的功能。就是可以把好友全部的说说都抓取下来。

但是我发现审查元素和查看源代码中的代码并不一样，审查元素里的才是网页上看到的。

可我并没有办法弄到审查元素的代码，于是我试了下driver.page_source 和 BeautifulSoup。

但是driver.page_source返回的有时候是审查元素的代码，有时候又是查看源代码中的代码

这就有点搞不懂了。好像是什么js动态数据，在网上看了很久也没找到个好的解决方案。

等过几天学会了怎么弄动态的数据，在加上这个功能吧

解决方法：

本来我昨天是打算用BeautifulSoup解析审查元素的代码，在用正则表达式获取id = "pager_next_\d+"这一段，

但是没办法获取到审查元素的代码，只好作罢，用一种比较常规的办法。

通过点击审查元素可观察到，下一页那个button，是这样的

因此可以用driver.find_element_by_id().click来定位并点击，从而实现翻页功能

但因为pager_next_后面的数字会改变。数字初始是0，改变的规律是每次点击页码或是下一页都会加1。

我们要实现的只是一页页的翻，所以设置一个计数器，每次加1就好了。

值得一提的是，每次翻页后要设置一个等待时间，不然可能会因为网页没加载出来而出现错误

修改后的代码：

from selenium import webdriver
import time
import re
from bs4 import BeautifulSoup
import requests

driver = webdriver.Chrome()
driver.maximize_window()

global count
count = 0


def next_page():#获取每一页的说说
    global count

    content = driver.find_elements_by_css_selector('pre.content')
    stime = driver.find_elements_by_css_selector('a.c_tx.c_tx3')
    
    for con,sti in zip(content,stime):
        count += 1
        print('第%d条' % count)
        print('内容：' + str(con.text))
        print('时间：' + str(sti.text))
        print('\n\n')
    content.clear()
    stime.clear()



def get_friend_shuoshuo(qq):
    url = 'http://user.qzone.qq.com/{}/311'.format(qq)
    driver.get(url)
    time.sleep(3)
    print(url)
    
    try:
        driver.find_element_by_id('login_frame')
        a = True
    except:
        a = False


    
    if a == True:
        driver.switch_to_frame('login_frame')
        driver.find_element_by_id('switcher_plogin').click()#帐号密码登录
        driver.find_element_by_id('u').clear()
        driver.find_element_by_id('u').send_keys('qq')
        driver.find_element_by_id('p').clear()
        driver.find_element_by_id('p').send_keys('密码')
        driver.find_element_by_id('login_button').click()
        time.sleep(3)

    driver.implicitly_wait(2)



    try:
        driver.find_element_by_id('QM_OwnerInfo_Icon')
        b = True
    except:
        b = False
        print('sorry,你没有权限访问该好友的空间')

    #pages = driver.page_source
    #print(pages)
    #soup = BeautifulSoup(pages,'html.parser')
    #print(soup)
    #pnext = soup.find('div',attrs = {'id':'pager'})
    #print(str(pnext) + '\n')

        
    count1 = 0 #审查元素的代码是pager_next_再加上一个数字，初始是0，每次点击页码或下一页会加1
                #因为这里是点下一页，不用跳页，所以弄一个count1来实现翻页的功能

    driver.switch_to_frame('app_canvas_frame')#框架定位，在审查元素中找到iframe的标签，括号里写id
    while b == True:
        next_page()

        try:
            driver.find_element_by_id('pager_next_' + str(count1)).click()
            b = True
        except:
            b = False
            continue
        count1 += 1
        time.sleep(5)#给个缓冲时间，不然网页没加载出来导致出错
        
        


    cookie = driver.get_cookies()
    cookie_dict = []
    for c in cookie:
        ck = "{0}={1};".format(c['name'],c['value'])
        cookie_dict.append(ck)
    i = ''
    for c in cookie_dict:
        i += c
    print('Cookies:',i)
    print("==========完成================")
            


qq = input('请输入要访问的qq：')
get_friend_shuoshuo(qq)