python爬虫编程实践task3-ip代理、session和cookie、selenuim

1、IP代理

如何应对IP被封的问题：

1、修改请求头，模拟浏览器（而不是代码去直接访问）去访问
2、设置访问时间间
3、采用代理IP并轮换

前两个之前已经使用过，这里贴一个建立IP代理池的代码：

from bs4 import BeautifulSoup
import requests
import re
import json


def open_proxy_url(url):
    user_agent = 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.119 Safari/537.36'
    headers = {'User-Agent': user_agent}
    try:
        r = requests.get(url, headers = headers, timeout = 10)
        r.raise_for_status()
        r.encoding = r.apparent_encoding
        return r.text
    except:
        print('无法访问网页' + url)


def get_proxy_ip(response):
    proxy_ip_list = []
    soup = BeautifulSoup(response, 'html.parser')
    proxy_ips = soup.find(id = 'ip_list').find_all('tr')
    for proxy_ip in proxy_ips:
        if len(proxy_ip.select('td')) >=8:
            ip = proxy_ip.select('td')[1].text
            port = proxy_ip.select('td')[2].text
            protocol = proxy_ip.select('td')[5].text
            if protocol in ('HTTP','HTTPS','http','https'):
                proxy_ip_list.append(f'{protocol}://{ip}:{port}')
    return proxy_ip_list


def open_url_using_proxy(url, proxy):
    user_agent = 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.119 Safari/537.36'
    headers = {'User-Agent': user_agent}
    proxies = {}
    if proxy.startswith(('HTTPS','https')):
        proxies['https'] = proxy
    else:
        proxies['http'] = proxy

    try:
        r = requests.get(url, headers = headers, proxies = proxies, timeout = 10)
        r.raise_for_status()
        r.encoding = r.apparent_encoding
        return (r.text, r.status_code)
    except:
        print('无法访问网页' + url)
        print('无效代理IP: ' + proxy)
        return False


def check_proxy_avaliability(proxy):
    url = 'http://www.baidu.com'
    result = open_url_using_proxy(url, proxy)
    VALID_PROXY = False
    if result:
        text, status_code = result
        if status_code == 200:
            r_title = re.findall('<title>.*</title>', text)
            if r_title:
                if r_title[0] == '<title>百度一下，你就知道</title>':
                    VALID_PROXY = True
        if VALID_PROXY:
            check_ip_url = 'https://jsonip.com/'
            try:
                text, status_code = open_url_using_proxy(check_ip_url, proxy)
            except:
                return

            print('有效代理IP: ' + proxy)
            with open('valid_proxy_ip.txt','a') as f:
                f.writelines(proxy)
            try:
                source_ip = json.loads(text).get('ip')
                print(f'源IP地址为：{source_ip}')
                print('='*40)
            except:
                print('返回的非json,无法解析')
                print(text)
    else:
        print('无效代理IP: ' + proxy)


if __name__ == '__main__':
    proxy_url = 'https://www.xicidaili.com/'
    proxy_ip_filename = 'proxy_ip.txt'
    text = open(proxy_ip_filename, 'r').read()
    proxy_ip_list = get_proxy_ip(text)
    for proxy in proxy_ip_list:
        check_proxy_avaliability(proxy)

2、session和cookie

2.1 如何理解session和cookie

Session 是会话的意思，会话是产生在服务端的，用来保存当前用户的会话信息，而 Cookies 是保存在客户端（浏览器），有了 Cookie 以后，客户端（浏览器）再次访问服务端的时候，会将这个 Cookie 带上，这时，服务端可以通过 Cookie 来识别本次请求到底是谁在访问。

可以简单理解为 Cookies 中保存了登录凭证，我们只要持有这个凭证，就可以在服务端保持一个登录状态

3、超好用的selenium

3.1 selenium介绍

selenium是什么：一个自动化测试工具（大家都是这么说的）

selenium应用场景：用代码的方式去模拟浏览器操作过程（如：打开浏览器、在输入框里输入文字、回车等），在爬虫方面很有必要

3.2 selenium使用

1、导入模块：

from selenium import webdriver  # 启动浏览器需要用到
from selenium.webdriver.common.keys import Keys  # 提供键盘按键支持（最后一个K要大写）

2、创建一个WebDriver实例：

driver = webdriver.Chrome()  #这里使用谷歌浏览器

3、打开一个页面:

river.get("http://www.python.org")  # 这个时候chromedriver会打开一个Chrome浏览器窗口，显示的是网址所对应的页面

4、关闭页面

driver.close()  # 关闭浏览器一个Tab
# or
driver.quit()  # 关闭浏览器窗口

5、查找元素
我比较喜欢selenium模块这个功能，查找超级方便

element = driver.find_element_by_name("q")  

6、页面交互

element.send_keys(“some text”）  # 往一个可以输入对象中输入“some text”
element.send_keys(Keys.RETURN）  # 模拟键盘回车
#一般来说，这种方式输入后会一直存在，而要清空某个文本框中的文字，就需要：
element.clear()  # 清空element对象中的文字

4、小作业：模拟登录丁香园，并抓取论坛页面所有的人员基本信息与回复帖子内容

不多说，直接上代码：

import time
from selenium import webdriver
#登录页面
def login(browser,name,passwd):
    browser.find_element_by_link_text('登录').click()   #定位网页登录按钮并点击
    browser.find_element_by_link_text('返回电脑登录').click()#点击‘返回电脑登录’
    element = browser.find_element_by_id('username')     #找到填写用户名的位置
    element.clear()         #清空文本框内内容
    element.send_keys(name) #填写用户名
    time.sleep(3)
    element = browser.find_element_by_class_name('input__btb1')#找到填写密码的位置
    element.clear()           #清空文本框内内容
    element.send_keys(passwd) #填写密码
    browser.find_element_by_class_name('button').click()     #点击登录按钮   
#抓取信息
def get_information(browser):
    time.sleep(5)
    user_name = browser.find_elements_by_class_name("auth")
    level = browser.find_elements_by_class_name("info")
    content = browser.find_elements_by_class_name('postbody')
    file = open('information.txt','a',encoding='utf-8')
    for i in range(len(content)):
        information = str({'name':user_name[i].text,'level':level[i].text,'content':content[i].text.replace("\n", "")})+"\n"
        file.write(information)
    file.close()
if __name__ =="__main__":
    #1、登录网址
    url='http://www.dxy.cn/bbs/thread/626626#626626'
    browser = webdriver.Chrome()
    browser.get(url)
    #2、用户密码登录
    login(browser,'dxy_kzl9a1o7', 'xz9509656502')
    #3、抓取信息
    get_information(browser)
    #4、关闭网页
    browser.close()

疑问：

登录几次后，在输入用户名和密码后会出现识别图片或拖动滚动条的情况，目前不知道如何解决！