Task3：Selenium模块学习及丁香园模拟登录爬取留言板

模拟自动化登陆的模块：

Selenium

selenium是一个自动化测试工具
selenium应用场景：用代码的方式去模拟浏览器操作过程（如：打开浏览器、在输入框里输入文字、回车等），在爬虫方面很有必要
1、selenium准备工作

第一步：安装selenium（pip install selenium）
第二步：安装chromedriver（一个驱动程序，用以启动chrome浏览器，具体的驱动程序需要对应的驱动）下载地址：https://sites.google.com/a/chromium.org/chromedriver/home
。
注意： 下载好了的chromedriver要保存好文件的路径，后面会一直使用这个程序路径。

2、使用selenium的基本步骤

1、导入模块：

from selenium import webdriver  # 启动浏览器需要用到
from selenium.webdriver.common.keys import Keys  # 提供键盘按键支持（最后一个K要大写）

2、创建一个WebDriver实例：

driver = webdriver.Chrome("C:\\Users\dell\Python 爬虫 Study\chromedriver.exe")
# 双引号之间要写你的 chromedriver 的路径。

运行之后会打开一个空白的 chrome 界面

3、打开一个新页面:

driver.get("http://www.python.org")  # 运行之后会在这个chrome中打开这个网址

4、关闭页面

driver.close()  # 关闭浏览器一个Tab
# driver.quit()  关闭浏览器窗口

高级-查找元素：

在打开页面和关闭页面中间，就是各种操作！而查找元素这一点，和爬虫常见的HTML页面解析，定位到具体的某个元素基本一样，只不过，调用者是driver

element = driver.find_element_by_name("q")

高级-页面交互：

找到元素后，就是进行“交互”，如键盘输入（需提前导入模块）

element.send_keys(“some text”）  # 往一个可以输入对象中输入“some text”

element.send_keys(Keys.RETURN)  # 模拟键盘回车

运行完这个就会发现界面开始了查找：
如果你输入完对象之后想清空你的对象中的文字，可以用下面的方法。

element.clear()  # 清空element对象中的文字

高级-等待页面加载（wait）

应用场景：含有ajax加载的page！因为在这种情况下，页面内的某个节点并不是在一开始就出现了，而在这种情况下，就不能“查找元素”，元素选择不到，就不好进行交互操作！等待页面加载这两个模块经常是一起导入的：

from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium import webdriver
from selenium.webdriver.common.by import By

显示等待：触发某个条件后才能够执行后续的代码

driver = webdriver.Chrome("C:\\Users\dell\Python 爬虫 Study\chromedriver.exe")
driver.get("http://www.baidu.com")
try:
    element = WebDriverWait(driver, 10).until(EC.presence_of_element_located((By.ID, "myDynamicElement")))
finally:
    driver.quit()
#其中，presence_of_element_located是条件，By.ID是通过什么方式来确认元素（这个是通过id），"myDynamicElement"这个就是某个元素的ID

隐示等待：设置某个具体的等待时间

driver = webdriver.Chrome("C:\\Users\dell\Python 爬虫 Study\chromedriver.exe")
driver.implicitly_wait(10) # seconds
driver.get("http://www.baidu.com")
myDynamicElement = driver.find_element_by_id("myDynami")

项目尝试：爬取丁香园数据

import requests, json, re, random,time
from bs4 import BeautifulSoup
from selenium import webdriver
from lxml import etree

class getUrl(object):
    """docstring for getUrl"""
    # 下面的信息要在网页中找到并填对。
    def __init__(self):
        self.headers={
            "Connection": "keep-alive",
            "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.122 Safari/537.36",
            "Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8",
            "Accept-Encoding": "gzip, deflate, sdch",
            "Accept-Language": "zh-CN,zh;q=0.8"
        };

    def run(self):
    	# chromedriver 路径要填对
        browser = webdriver.Chrome('C:\\Users\dell\Python 爬虫 Study\chromedriver.exe')
        browser.get('https://auth.dxy.cn/accounts/login?service=http://www.dxy.cn/bbs/index.html')
        time.sleep(1)
        # 切换账号密码登录表单
        js1 = 'document.querySelector("#j_loginTab1").style.display="none";'
        browser.execute_script(js1)
        time.sleep(1)
        js2 = 'document.querySelector("#j_loginTab2").style.display="block";'
        browser.execute_script(js2)
        # 输入账号密码
        input_name = browser.find_element_by_name('username')
        input_name.clear()
        input_name.send_keys('****')  # 这里为自己账号
        input_pass = browser.find_element_by_name('password')
        input_pass.clear()
        input_pass.send_keys('****')  # 这里为密码
        browser.find_element_by_xpath('//*[@class="form__button"]/button').click()
        # 此步骤应该有验证码，先跳过
        time.sleep(10)
        cookie = browser.get_cookies()
        cookie_dict = {i['name']:i['value'] for i in cookie}
        # 转到抓取页面
        browser.get("http://www.dxy.cn/bbs/thread/626626#626626");
        html = browser.page_source
        tree = etree.HTML(html)
        user = tree.xpath('//div[@id="postcontainer"]//div[@class="auth"]/a/text()')
        content = tree.xpath('//td[@class="postbody"]')
        for i in range(0,len(user)):
            result = user[i].strip()+":"+content[i].xpath('string(.)').strip()
            #写入文件
            dir_file = open("DXY_records.txt",'a', encoding="utf-8")
            dir_file.write(result+"\n")
            dir_file.write('*' * 80+"\n")
            dir_file.close()
        print('*' * 5 +"抓取结束"+'*' * 5)


if __name__ == '__main__':
    geturl = getUrl()
    geturl.run()