Python爬虫:手把手教你采集登陆后才能看到数据!

本文介绍了如何在Python爬虫中处理需要登录才能访问的数据。通过使用表单登录和cookie登录两种方式,详细阐述了如何获取和使用cookie来模拟已登录状态,从而有效避开网站的访问限制。对于涉及验证码的情况,也给出了相应的处理策略。
摘要由CSDN通过智能技术生成

爬虫在采集网站的过程中,部分数据价值较高的网站,会限制访客的访问行为。这种时候建议通过登录的方式,获取目标网站的cookie,然后再使用cookie配合代理IP进行数据采集分析。

很多人学习python,不知道从何学起。
很多人学习python,掌握了基本语法过后,不知道在哪里寻找案例上手。
很多已经做案例的人,却不知道如何去学习更加高深的知识。
那么针对这三类人,我给大家提供一个好的学习平台,免费领取视频教程,电子书籍,以及课程的源代码!??¤
QQ群:961562169

1 使用表单登陆

这种情况属于post请求,即先向服务器发送表单数据,服务器再将返回的cookie存入本地。

    #! -*- encoding:utf-8 -*-
 
    import requests
 
    import random
 
    import requests.adapters
 
 
 
    # 要访问的目标页面
 
    targetUrlList = [
 
        "https://httpbin.org/ip",
 
        "https://httpbin.org/headers",
 
        "https://httpbin.org/user-agent",
 
    ]
 
 
 
    # 代理服务器(产品官网 www.16yun.cn)
 
    proxyHost = "t.16yun.cn"
 
    proxyPort = "31111"
 
 
 
    # 代理隧道验证信息
 
    proxyUs
  • 1
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值