代理IP爬取&selenium

处理反爬机制

几种套路：

1. 修改请求头，模拟浏览器（而不是代码去直接访问）去访问

2. 采用代理IP并轮换

3. 设置访问时间间隔

先从网站https://www.xicidaili.com/中爬取代理IP的地址

from bs4 import BeautifulSoup
import requests                                     
import time

def open_proxy_url(url):
 	user_agent ='Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_2) AppleWebKit/537.36 (KHTML,like Gecko) Chrome/72.0.3626.119 Safari/537.36'	
	headers ={'User-Agent': user_agent}
   try:
	r =requests.get(url, headers = headers, timeout = 20)
	r.raise_for_status()
	r.encoding= r.apparent_encoding
	return(r.text)
   except:
	rint('无法访问网页' + url)
#一般的代码，测试是否正常响应，正常即返回网页内容

def get_proxy_ip(response):
	proxy_ip_list= []
 	soup =BeautifulSoup(response, 'html.parser')
	proxy_ips  = soup.select('.odd')#选择标签
	for proxy_ip in proxy_ips:
	ip =proxy_ip.select('td')[1].text
	port =proxy_ip.select('td')[2].text
	protocol =proxy_ip.select('td')[5].text
	
	if protocol in ('HTTP','HTTPS'):
		proxy_ip_list.append(f'{protocol}://{ip}:{port}')
	return proxy_ip_list
#提取网页内容中需要的信息，这里用list排了一下

if __name__== '__main__':
    proxy_url = 'https://www.xicidaili.com/'
    text = open_proxy_url(proxy_url)
    proxy_ip_filename = 'proxy_ip.txt'
    with open(proxy_ip_filename, 'w') as f:
        f.write(text)
    text = open(proxy_ip_filename, 'r').read()
    proxy_ip_list = get_proxy_ip(text)
    print(proxy_ip_list)
#这样就把代理IP的list整下来了

selenium

用代码的方式去模拟浏览器操作过程（如：打开浏览器、在输入框里输入文字、回车等）
先要安装chromedriver& pip install selenium
一些实例：

from selenium import webdriver  # 启动浏览器需要用到
from selenium.webdriver.common.keys import Keys  # 提供键盘按键支持
driver = webdriver.Chrome("chromedriver驱动程序路径")
driver.get("http://www.baidu.com")#之前安装的chromedriver会用浏览器打开这个页面
driver.quit()  #关闭浏览器
element =driver.find_element_by_name("q") 
#查找q元素
element.send_keys(“内容”）  # 往一个可以输入对象中输入想要的内容
element.send_keys(Keys.RETURN）  # 模拟回车，就可以进行搜索
element.clear()  #清空element对象中的文字
#页面交互的模拟

session和cookie

在需要采用动态网页中的登录功能时，将cookies放在请求头中，保存了登录的凭证，就能扮演一个正常的登录用户。（此处丧失coding功能…这不是一块简单的小饼干…看网课看网课…害！