发送为什么带headers
- 为了模拟浏览器,模拟浏览器是为了欺骗浏览器
- 获取和浏览器一样的内容
发送带参数的请求
- 什么是发送带参数的请求
requests.get()
里面参数中有params
参数传递,传入的参数形式为字典
url = 'https://www.baidu.com/s'
data = {'word': '蜘蛛侠'}
r = requests.get(url,params=data)
print(r.request.url)
贴吧练习
# -*- coding: utf-8 -*-
# @Time : 2020/1/7 22:20
# @Author : 大数据小J
# @File : 百度贴吧.py
import requests
class Baidutieba(object):
def __init__(self, data):
self.data = data
self.url_temp = "http://tieba.baidu.com/f?kw=" + data + "&ie=utf-8&pn={}"
self.headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36'
}
# 获取十页的网页url
def get_url_list(self):
# url_list = []
# for i in range(10):
# url_list.append(self.url_temp.format(i*50))
# 使用列表推导式进行 # 可以直接返回结果
return [self.url_temp.format(i * 50) for i in range(10)]
def parse_url(self, url):
r = requests.get(url, headers=self.headers)
return r.text
def save_html(self, html_str, page_num):
file_page = "demo/{}-第{}页.html".format(self.data, page_num)
with open(file_page, 'w', encoding='utf-8')as f:
f.write(html_str)
f.close()
# 实现主要业务逻辑
def run(self):
# 构建一个url列表来存放数据
list_url = self.get_url_list()
for url in list_url:
html_str = self.parse_url(url) # (注意,经常犯的一个错误的点。在类中创写需要加上self)
page_num = list_url.index(url) + 1
self.save_html(html_str, page_num)
if __name__ == '__main__':
data = input("请输入要输入的内容:")
baidu = Baidutieba(data)
baidu.run()
Request 深入
发送POST请求
- 登录注册需要使用到(post比get安全)
- 需要传输大文本的时候(post请求对发送数据长度没有要求)
使用代理IP
为什么需要使用代理IP呢?
当我们在爬取别人网站的时候,没有携带对应的参数请求的时候,经常会被服务器认为是爬虫,就会封我们的IP地址,让你不能再次访问
这时候就需要使用IP代理来解决这个问题
- 让服务器必为不是同一个客户端在请求
- 防止我们的真实地址被泄漏,防止被追究
requests.get
:请求里面有个proxies
这个参数就是用来存放IP代理的
也可以准备一堆代理IP地址来使用
# -*- coding: utf-8 -*-
# @Time : 2020/1/7 23:27
# @Author : 大数据小J
"""设置代理IP使用proxies"""
import requests
proxies = {
'HTTPS':'117.68.194.99:18118',
'HTTPS':'222.190.222.163:20347 '
}
url = 'https://www.lagou.com/'
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36'
}
r = requests.get(url,proxies=proxies,headers=headers)
print(r.text)
print(r.headers)
检查IP的可用性
- 可以使用request,当IP不可用时,会出现请求超时
- 在线代理IP质量检查的网站
cookie和session的区别
cookie数据存放在客户端的浏览器上,session数据放在服务器上
cookie不是很安全,别人可以分析存放在本地的cookie并进行cookie欺骗
session会在一定的时间内保存在服务器上。当访问增多,会比较占用你服务器的性能
单个cookie保存的数据不能超过4k,很多浏览器大限制一个站点最多保存20个cookie
爬虫处理cookie和session
- 带上cookie、session的好处:能够请求到登录之后的页面
- 带上cookie、session的弊端:一套cookie和session往往和一个用户对应请求太多,请求次数太多,容易被服务器识别为爬虫
- 不需要使用cookie的时候尽量不去使用cookie
- 但是为了获取登录之后的页面,我们必须要发送带有cookie请求的数据
人人网session发送并使用代理设置
# -*- coding: utf-8 -*-
# @Time : 2020/1/8 16:43
# @Author : 大数据小J
import requests
# session窗口绘制
session = requests.session()
post_url = 'http://www.renren.com/PLogin.do'
post_data = {'email': '', 'password': ''}
proxies = {'HTTPS': '163.204.240.172:9999'}
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36'}
session.post(post_url, post_data, headers=headers)
r = session.get('http://www.renren.com/972975809/profile', headers=headers, proxies=proxies)
with open('人人网.html', 'w', encoding='utf-8')as f:
f.write(r.text)