1、IP代理
如何应对IP被封的问题:
1、修改请求头,模拟浏览器(而不是代码去直接访问)去访问
2、设置访问时间间
3、采用代理IP并轮换
前两个之前已经使用过,这里贴一个建立IP代理池的代码:
from bs4 import BeautifulSoup
import requests
import re
import json
def open_proxy_url(url):
user_agent = 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.119 Safari/537.36'
headers = {'User-Agent': user_agent}
try:
r = requests.get(url, headers = headers, timeout = 10)
r.raise_for_status()
r.encoding = r.apparent_encoding
return r.text
except:
print('无法访问网页' + url)
def get_proxy_ip(response):
proxy_ip_list = []
soup = BeautifulSoup(response, 'html.parser')
proxy_ips = soup.find(id = 'ip_list').find_all('tr')
for proxy_ip in proxy_ips:
if len(proxy_ip.select('td')) >=8:
ip = proxy_ip.select('td')[1].text
port = proxy_ip.select('td')[2].text
protocol = proxy_ip.select('td')[5].text
if protocol in ('HTTP','HTTPS','http','https'):
proxy_ip_list.append(f'{protocol}://{ip}:{port}')
return proxy_ip_list
def open_url_using_proxy(url, proxy):
user_agent = 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.119 Safari/537.36'
headers = {'User-Agent': user_agent}
proxies = {}
if proxy.startswith(('HTTPS','https')):
proxies['https'] = proxy
else:
proxies['http'] = proxy
try:
r = requests.get(url, headers = headers, proxies = proxies, timeout = 10)
r.raise_for_status()
r.encoding = r.apparent_encoding
return (r.text, r.status_code)
except:
print('无法访问网页' + url)
print('无效代理IP: ' + proxy)
return False
def check_proxy_avaliability(proxy):
url = 'http://www.baidu.com'
result = open_url_using_proxy(url, proxy)
VALID_PROXY = False
if result:
text, status_code = result
if status_code == 200:
r_title = re.findall('<title>.*</title>', text)
if r_title:
if r_title[0] == '<title>百度一下,你就知道</title>':
VALID_PROXY = True
if VALID_PROXY:
check_ip_url = 'https://jsonip.com/'
try:
text, status_code = open_url_using_proxy(check_ip_url, proxy)
except:
return
print('有效代理IP: ' + proxy)
with open('valid_proxy_ip.txt','a') as f:
f.writelines(proxy)
try:
source_ip = json.loads(text).get('ip')
print(f'源IP地址为:{source_ip}')
print('='*40)
except:
print('返回的非json,无法解析')
print(text)
else:
print('无效代理IP: ' + proxy)
if __name__ == '__main__':
proxy_url = 'https://www.xicidaili.com/'
proxy_ip_filename = 'proxy_ip.txt'
text = open(proxy_ip_filename, 'r').read()
proxy_ip_list = get_proxy_ip(text)
for proxy in proxy_ip_list:
check_proxy_avaliability(proxy)
2、session和cookie
2.1 如何理解session和cookie
Session 是会话的意思,会话是产生在服务端的,用来保存当前用户的会话信息,而 Cookies 是保存在客户端(浏览器),有了 Cookie 以后,客户端(浏览器)再次访问服务端的时候,会将这个 Cookie 带上,这时,服务端可以通过 Cookie 来识别本次请求到底是谁在访问。
可以简单理解为 Cookies 中保存了登录凭证,我们只要持有这个凭证,就可以在服务端保持一个登录状态
3、超好用的selenium
3.1 selenium介绍
selenium是什么:一个自动化测试工具(大家都是这么说的)
selenium应用场景:用代码的方式去模拟浏览器操作过程(如:打开浏览器、在输入框里输入文字、回车等),在爬虫方面很有必要
3.2 selenium使用
1、导入模块:
from selenium import webdriver # 启动浏览器需要用到
from selenium.webdriver.common.keys import Keys # 提供键盘按键支持(最后一个K要大写)
2、创建一个WebDriver实例:
driver = webdriver.Chrome() #这里使用谷歌浏览器
3、打开一个页面:
river.get("http://www.python.org") # 这个时候chromedriver会打开一个Chrome浏览器窗口,显示的是网址所对应的页面
4、关闭页面
driver.close() # 关闭浏览器一个Tab
# or
driver.quit() # 关闭浏览器窗口
5、查找元素
我比较喜欢selenium模块这个功能,查找超级方便
element = driver.find_element_by_name("q")
6、页面交互
element.send_keys(“some text”) # 往一个可以输入对象中输入“some text”
element.send_keys(Keys.RETURN) # 模拟键盘回车
#一般来说,这种方式输入后会一直存在,而要清空某个文本框中的文字,就需要:
element.clear() # 清空element对象中的文字
4、小作业:模拟登录丁香园,并抓取论坛页面所有的人员基本信息与回复帖子内容
不多说,直接上代码:
import time
from selenium import webdriver
#登录页面
def login(browser,name,passwd):
browser.find_element_by_link_text('登录').click() #定位网页登录按钮并点击
browser.find_element_by_link_text('返回电脑登录').click()#点击‘返回电脑登录’
element = browser.find_element_by_id('username') #找到填写用户名的位置
element.clear() #清空文本框内内容
element.send_keys(name) #填写用户名
time.sleep(3)
element = browser.find_element_by_class_name('input__btb1')#找到填写密码的位置
element.clear() #清空文本框内内容
element.send_keys(passwd) #填写密码
browser.find_element_by_class_name('button').click() #点击登录按钮
#抓取信息
def get_information(browser):
time.sleep(5)
user_name = browser.find_elements_by_class_name("auth")
level = browser.find_elements_by_class_name("info")
content = browser.find_elements_by_class_name('postbody')
file = open('information.txt','a',encoding='utf-8')
for i in range(len(content)):
information = str({'name':user_name[i].text,'level':level[i].text,'content':content[i].text.replace("\n", "")})+"\n"
file.write(information)
file.close()
if __name__ =="__main__":
#1、登录网址
url='http://www.dxy.cn/bbs/thread/626626#626626'
browser = webdriver.Chrome()
browser.get(url)
#2、用户密码登录
login(browser,'dxy_kzl9a1o7', 'xz9509656502')
#3、抓取信息
get_information(browser)
#4、关闭网页
browser.close()
疑问:
登录几次后,在输入用户名和密码后会出现识别图片或拖动滚动条的情况,目前不知道如何解决!