爬虫的Requests(百度贴吧、人人网实战)

发送为什么带headers

• 为了模拟浏览器，模拟浏览器是为了欺骗浏览器
• 获取和浏览器一样的内容

发送带参数的请求

• 什么是发送带参数的请求
• requests.get()里面参数中有params参数传递，传入的参数形式为字典

url = 'https://www.baidu.com/s'
data = {'word': '蜘蛛侠'}
r = requests.get(url,params=data)
print(r.request.url)

贴吧练习

# -*- coding: utf-8 -*- 
# @Time : 2020/1/7 22:20 
# @Author : 大数据小J 
# @File : 百度贴吧.py

import requests

class Baidutieba(object):
    def __init__(self, data):
        self.data = data
        self.url_temp = "http://tieba.baidu.com/f?kw=" + data + "&ie=utf-8&pn={}"
        self.headers = {
            'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36'
        }

    # 获取十页的网页url
    def get_url_list(self):
        # url_list = []
        # for i in range(10):
        #     url_list.append(self.url_temp.format(i*50))
        # 使用列表推导式进行        # 可以直接返回结果
        return [self.url_temp.format(i * 50) for i in range(10)]

    def parse_url(self, url):
        r = requests.get(url, headers=self.headers)
        return r.text

    def save_html(self, html_str, page_num):
        file_page = "demo/{}-第{}页.html".format(self.data, page_num)
        with open(file_page, 'w', encoding='utf-8')as f:
            f.write(html_str)
            f.close()

    # 实现主要业务逻辑
    def run(self):
        # 构建一个url列表来存放数据
        list_url = self.get_url_list()
        for url in list_url:
            html_str = self.parse_url(url)  # （注意，经常犯的一个错误的点。在类中创写需要加上self）
            page_num = list_url.index(url) + 1
            self.save_html(html_str, page_num)


if __name__ == '__main__':
    data  = input("请输入要输入的内容:")
    baidu = Baidutieba(data)
    baidu.run()

Request 深入
发送POST请求

• 登录注册需要使用到（post比get安全）
• 需要传输大文本的时候（post请求对发送数据长度没有要求）

使用代理IP
为什么需要使用代理IP呢？
当我们在爬取别人网站的时候，没有携带对应的参数请求的时候，经常会被服务器认为是爬虫，就会封我们的IP地址，让你不能再次访问

这时候就需要使用IP代理来解决这个问题

• 让服务器必为不是同一个客户端在请求
• 防止我们的真实地址被泄漏，防止被追究
  requests.get：请求里面有个proxies这个参数就是用来存放IP代理的
  也可以准备一堆代理IP地址来使用

# -*- coding: utf-8 -*- 
# @Time : 2020/1/7 23:27 
# @Author : 大数据小J


"""设置代理IP使用proxies"""
import requests
proxies = {
    'HTTPS':'117.68.194.99:18118',
    'HTTPS':'222.190.222.163:20347	'
           }
url = 'https://www.lagou.com/'
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36'
}
r = requests.get(url,proxies=proxies,headers=headers)
print(r.text)
print(r.headers)

检查IP的可用性

1. 可以使用request，当IP不可用时，会出现请求超时
2. 在线代理IP质量检查的网站

cookie和session的区别
cookie数据存放在客户端的浏览器上，session数据放在服务器上
cookie不是很安全，别人可以分析存放在本地的cookie并进行cookie欺骗
session会在一定的时间内保存在服务器上。当访问增多，会比较占用你服务器的性能
单个cookie保存的数据不能超过4k,很多浏览器大限制一个站点最多保存20个cookie

爬虫处理cookie和session

• 带上cookie、session的好处：能够请求到登录之后的页面
• 带上cookie、session的弊端：一套cookie和session往往和一个用户对应请求太多，请求次数太多，容易被服务器识别为爬虫
• 不需要使用cookie的时候尽量不去使用cookie
• 但是为了获取登录之后的页面，我们必须要发送带有cookie请求的数据

人人网session发送并使用代理设置

# -*- coding: utf-8 -*- 
# @Time : 2020/1/8 16:43 
# @Author : 大数据小J

import requests

# session窗口绘制
session = requests.session()
post_url = 'http://www.renren.com/PLogin.do'
post_data = {'email': '', 'password': ''}
proxies = {'HTTPS': '163.204.240.172:9999'}
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36'}
session.post(post_url, post_data, headers=headers)

r = session.get('http://www.renren.com/972975809/profile', headers=headers, proxies=proxies)
with open('人人网.html', 'w', encoding='utf-8')as f:
    f.write(r.text)