遇到需要的登录的网站怎么办？用这3招轻松搞定！

最新推荐文章于 2023-10-01 12:53:59 发布
最新推荐文章于 2023-10-01 12:53:59 发布
阅读量2.2k 收藏 4
点赞数
分类专栏： Python 文章标签： Python
原文链接：http://mp.toutiao.com/preview_article/?pgc_id=6760893003448975886
版权

你好

 

由于你是游客

 

无法查看本文

 

请你登录再进

 

谢谢合作

 

 

当你在爬某些网站的时候

 

需要你登录才可以获取数据

 

咋整？

 

莫慌

 

小帅b把这几招传授给你

 

让你以后从容应对

 

 

那么

 

接下来就是

 

学习 python 的正确姿势

 

 

登录的常见方法无非是这两种

 

1、让你输入帐号和密码登录

 

 

2、让你输入帐号密码+验证码登录

 

 

今天

 

小帅b先跟你说说第一种

 

需要验证码的咱们下一篇再讲

 

第一招

 

 

Cookie大法

 

你平常在上某个不为人知的网站的时候

 

是不是发现你只要登录一次

 

就可以一直看到你想要的内容

 

过了一阵子才需要再次登录

 

这就是因为 Cookie 在做怪

 

简单来说

 

就是每一个使用这个网站的人

 

服务器都会给他一个 Cookie

 

那么下次你再请求数据的时候

 

你顺带把这个 Cookie 传过去

 

服务器一看

 

诶，小伙子是老客户啊

 

 

有登录过

 

直接返回数据给他吧

 

在服务中还可以设置 Cookie 的有效时间

 

也就是说

 

当你下次携带一个过期了的 Cookie 给服务器的时候

 

服务器虽然知道你是老客户

 

但是还是需要你重新再登录一次

 

然后再给你一个有效的 Cookie

 

Cookie 的时长周期是服务器那边定的

 

ok

 

了解了这一点之后

 

我们就来玩一下吧

 

我们以「逼乎」为例

 

https://biihu.cc/account/login/

 

输入地址之后

 

 

按一下 F12

 

点击 network 标签

 

然后登录你的帐号

 

然后点击其中一个

 

你就可以看到在 Request Headers 有你的 Cookie

 

 

 

有了 Cookie 之后

 

我们在代码中直接获取我的个人信息

 

  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  
import requests
headers = {    # 假装自己是浏览器    'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Ubuntu Chromium/73.0.3683.75 Chrome/73.0.3683.75 Safari/537.36',    # 把你刚刚拿到的Cookie塞进来    'Cookie': 'eda38d470a662ef3606390ac3b84b86f9; Hm_lvt_f1d3b035c559e31c390733e79e080736=1553503899; biihu__user_login=omvZVatKKSlcXbJGmXXew9BmqediJ4lzNoYGzLQjTR%2Fjw1wOz3o4lIacanmcNncX1PsRne5tXpE9r1sqrkdhAYQrugGVfaBICYp8BAQ7yBKnMpAwicq7pZgQ2pg38ZzFyEZVUvOvFHYj3cChZFEWqQ%3D%3D; Hm_lpvt_f1d3b035c559e31c390733e79e080736=1553505597',}
session = requests.Session()response = session.get('https://biihu.cc/people/wistbean%E7%9C%9F%E7%89%B9%E4%B9%88%E5%B8%85', headers=headers)
print(response.text)

 

运行后可以发现不用登录就可以直接拿到自己的个人信息了

<!DOCTYPE html><html><head><meta content="text/html;charset=utf-8" http-equiv="Content-Type" /><meta content="width=device-width, initial-scale=1.0, maximum-scale=1.0, user-scalable=no" name="viewport" /><meta http-equiv="X-UA-Compatible" content="IE=edge,Chrome=1" /><meta name="renderer" content="webkit" /><title>小帅b真特么帅 的个人主页 - 逼乎</title><meta name="keywords" content="逼乎,问答,装逼,逼乎网站" /><meta name="description" content="逼乎 ，与世界分享你的装逼技巧与见解" /><base href="https://biihu.cc/" /><!--[if IE]></base><![endif]--><link rel="stylesheet" type="text/css" href="https://biihu.cc/static/css/bootstrap.css" /><link rel="stylesheet" type="text/css" href="https://biihu.cc/static/css/icon.css" /><link href="https://biihu.cc/static/css/default/common.css?v=20180831" rel="stylesheet" type="text/css" /><link href="https://biihu.cc/static/css/default/link.css?v=20180831" rel="stylesheet" type="text/css" /><link href="https://biihu.cc/static/js/plug_module/style.css?v=20180831" rel="stylesheet" type="text/css" /><link href="https://biihu.cc/static/css/default/user.css?v=20180831" rel="stylesheet" type="text/css" /><link href="https://biihu.cc/static/css/mood/mood.css" rel="stylesheet" type="text/css" /><script type="text/javascript"> var _02AEC94D5CA08B39FC0E1F7CC220F9B4="a5359326797de302bfc9aa6302c001b8"; var G_POST_HASH=_02AEC94D5CA08B39FC0E1F7CC220F9B4; var G_INDEX_SCRIPT = ""; var G_SITE_NAME = "逼乎"; var G_BASE_URL = "https://biihu.cc"; var G_STATIC_URL = "https://biihu.cc/static"; var G_UPLOAD_URL = "/uploads"; var G_USER_ID = "188";  var G_USER_NAME = "小帅b真特么帅"; var G_UPLOAD_ENABLE = "Y"; var G_UNREAD_NOTIFICATION = 0; var G_NOTIFICATION_INTERVAL = 100000; var G_CAN_CREATE_TOPIC = "1"; var G_ADVANCED_EDITOR_ENABLE = "Y"; var FILE_TYPES = "jpg,jpeg,png,gif,zip,doc,docx,rar,pdf,psd";</script><script src="https://biihu.cc/static/js/jquery.2.js?v=20180831" type="text/javascript"></script> ....

 

 

第二招

 

 

表单请求大法

 

很简单

 

就是通过抓包

 

获取请求登录的时候需要用到的用户名密码参数

 

然后以表单的形式请求服务器

 

如果你细心一点的话应该会知道之前说过拉

 

具体在这

去看下

我就不多说了

 

python爬虫03：那个叫做 Urllib 的库让我们的 python 假装是浏览器

 

 

第三招

 

 

Selenium 自动登录法

 

你应该看过这两个

 

python爬虫09 | 上来，自己动 ！这就是 selenium 的牛逼之处

python爬虫11 | 这次，将带你爬取b站上的NBA形象大使蔡徐坤和他的球友们

 

看过的话

 

那么对于你来说

 

Selenium 自动登录也太 tm 简单了吧

 

获取到两个输入框的元素

 

再获取到登录按钮

 

往输入框写你的帐号密码

 

然后自动点击一下登录

 

  •  
  •  
  •  
  •  
  •  
  •  
  •  
username = WAIT.until(EC.presence_of_element_located((By.CSS_SELECTOR, "帐号的selector")))password = WAIT.until(EC.presence_of_element_located((By.CSS_SELECTOR, "密码的selector")))submit = WAIT.until(EC.element_to_be_clickable((By.XPATH, '按钮的xpath')))
username.send_keys('你的帐号')password.send_keys('你的密码')submit.click()

 

登录完之后拿到 Cookie

 

  •  
cookies = webdriver.get_cookies()

 

有了 Cookie 你就可以拿到你想要的数据了

 

ok

 

以上这三招

 

 

希望对你有帮助

 

咱们下一篇说说验证码相关

 

下回见

 

PythonJavaPHP
关注
  • 0
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
低代码指南100方案：25数字化行政管理怎么做？三招轻松搞定！.pdf
07-10
《低代码指南 》这本书深入分析低代码100问，系统讲解低代码应用开发100课程，100解决方案，十大行业3000模板，应用参谋全面助力企业数字化转型。 适合人群： 开发工程师、应用工程师、业务人员、企业管理者和决策者...
黑科技知识：需要登录才能访问的网站如何破解？仅仅只需 3 步！
致力于C语言C++知识分享！
01-27 2万+
不少的网站（其实主要是那种1024类，当然也有一些小众专业类）是禁止未登陆用户访问的。但它会对搜索引擎开绿灯，为什么呢？ 因为由搜索引擎带来的SEO关键词流量是非常可观的，当你找到这样的网站，不得不用它时，只能按照网站的要求注册账号甚至交一定的会员费。 言归正传，今天介绍的一项黑科技、骚操作就是使用浏览器自带的功能，用身份欺骗绕过网站的访问权限限制，进而直接访问网站内容。 简单来说就是网站禁止你未登陆用户访问，你用这项黑科技来破解它。 核心操作就是把浏览器的User Agent设置为搜索引擎的爬
使用Cookie访问需要登录的网页（人人网）
Shirley的博客
08-15 957
 方法一：将网页上的Cookie信息提取出来。放到headers中。 from urllib import request #1，使用cookie去请求大鹏主页 dapeng_url="http://www.renren.com/880151247/profile" headers={ 'User-Agent':'Mozilla/5.0 (Windows NT 10.0; ...
好看实用的六个html登录页面
热门推荐
bhegi_seg的博客
03-10 5万+
本人找到了六个html登录页面，感觉还行，也挺好看的。 1.效果图： 代码： <!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8"> <meta name="viewport" content="width=device-width, initial-scale=1.0"> <title>Document</title>
vue中路由meta元信息实现权限控制——即网页的某些页面需要用户登录才能访问的实现
jolinoy的博客
03-08 2235
首先看下项目目录： vue中路由meta元信息实现权限控制步骤4步骤： 1.首先需要有一个登录页面组件：代码如下：Login.vue 2.创建两个组件：博客页面Blog.vue和笔记页面Notes.vue 3.在index.js里面挂载Blog.vue和Notes.vue，并添加meta属性。 4.在App.vue里面制定链接。 1.首先需要有一个登录页面组件：代码如下：Login.vue //Login.vue内容 <template> <div> .
学会三招，轻松搞定产品推广
02-23
本文简单介绍三招，总有一招适合你。对于一家成熟的大公司而言，推广一个新产品，新服务，那可谓是各种资源信手拈来。财大气粗直接买断各种主流市场的广告位，走在大街小巷，随处可见的宣传和电视广告。更有条件的，...
PCB设计层数规划 2招教你轻松搞定！.rar-综合文档
05-14
PCB设计层数规划 2招教你轻松搞定！.rar
取舍有道！有哪些关键技巧能搞定极简风格网站？
03-03
极简设计，只使用可读性强和使用率高的元素：使用留白，简介的内容，服务内容的细节等等。让界面简洁但又不缺乏内容。使用留白的极简主义是现代设计的大趋势之一。很好地使用留白的人往往可以使你的页面第一眼看上去...
web渗透测试之攻破登录页面
qq_42801460的博客
03-30 5479
有些图形验证码加入的像素线条过于简单，使用图形验证码识别工具可以识别出每次更换的验证码，在平常的漏洞挖掘过程中，如果我们发现登录的验证码非常简单且易于识别，那我们就可以尝试使用自动化工具来进行登录破解了，如 PKAV 的 HTTP Fuzzer。当我们在做渗透测试时，无论厂商项目还是src众测项目，都会遇到给一堆登录系统的URL，然后让我们自己去测，能不能进去全看天的状况，本文将讲一下怎么突破这种封闭的web系统，从而进行更深层次的渗透 ，学完后你会发现，其实你就是系统管理员。
爬虫遇到需要登录的网站怎么解决
Z_suger7的博客
01-05 5714
通常情况下，用户通过浏览器登录网站时，在特定的登录界面，输入个人登录信息，提交之后便能返回一个包含数据的网页。在日常爬虫工作中我们会遇到这样需要先进行登录才能获取数据的网站，那在遇到这样的情况时我们需要怎么处理呢？今天我们就来简单的分享学习下爬虫对需要登录情况下得处理方式。使用cookie登陆，服务器会认为你是一个已登陆的用户，所以就会返回给你一个已登陆的内容。因此，需要验证码的情况可以使用带验证码登陆的cookie解决。这只是其中的两种登录方式，有其他解决爬虫登录问题方法的可以留言大家交流学习下。
使用路由中的meta实现一部分网页不登陆就可以访问，而一部分网页必须要登录才可以访问。
青山不改，绿水长流。
09-26 712
如果每个都写得话太麻烦 meta: { requiresAuth: true },设置之后不仅一级路由 /article设置了其children 二级路由 默认也是 meta: { requiresAuth: true } 比如去/article/tag就需要登录 ，但我给二级路由list单独设置了meta: { requiresAuth: false },那么就不需要登录也能跳转到/article/list这个页面。
关闭页面后清除token 必须登录后才能进到页面里(cookie版)
Gnaf12345的博客
12-21 571
【代码】关闭页面后清除token 必须登录后才能进到页面里(cookie版)
Python爬虫：爬取需要登录的网站（文末有视频教程）
关注我！带你一路 "狂飙" 到底！
11-05 8080
爬虫在采集网站的过程中，部分数据价值较高的网站，会限制访客的访问行为。这种时候建议通过登录的方式，获取目标网站的cookie，然后再使用cookie配合代理IP进行数据采集分析。使用cookie登陆，服务器会认为你是一个已登陆的用户，所以就会返回给你一个已登陆的内容。因此，需要验证码的情况可以使用带验证码登陆的cookie解决。这种情况属于post请求，即先向服务器发送表单数据，服务器再将返回的cookie存入本地。千锋教育Python全套视频教程800集（完整版）Python爬虫全套视频在线学习。
暴力破解及验证码安全
最新发布
2301_79194110的博客
10-01 2821
hydra -L user.txt -P top100.txt -t 1 -vV -e ns 10.0.0.131 mssql -o 1.txt 通过cat 1.txt查看。由于token值输出在前端源代码中，容易被获取，因此也就失去了防暴力破解的意义，一般Token在防止CSRF上会有比较好的功郊。-C FILE 使用冒号分割格式，例如“登录名:密码”来代替-L/-P参数。-p PASS 小写，指定密码破解，少用，一般是采用密码字典。-w TIME 设置最大超时的时间，单位秒，默认是30s。
Python爬虫：手把手教你采集登陆后才能看到数据！
Python_sn的博客
11-09 1016
爬虫在采集网站的过程中，部分数据价值较高的网站，会限制访客的访问行为。这种时候建议通过登录的方式，获取目标网站的cookie，然后再使用cookie配合代理IP进行数据采集分析。 很多人学习python，不知道从何学起。 很多人学习python，掌握了基本语法过后，不知道在哪里寻找案例上手。 很多已经做案例的人，却不知道如何去学习更加高深的知识。 那么针对这三类人，我给大家提供一个好的学习平台，免费领取视频教程，电子书籍，以及课程的源代码！??¤QQ群：961562169 1 使用表单登陆 这种情况属
爬取需要登录才能使用的网址，python代码示例，直接写代码
weixin_35749796的博客
12-21 566
好的，我可以给你一些 Python 代码示例，但是在使用这些代码之前，你需要了解如何获取访问网站所需的登录凭据。这可能需要你手动登录网站，并使用浏览器的开发者工具来查看网站的请求和响应。 首先，你需要安装必要的库，包括 requests 和 beautifulsoup4。你可以使用 pip 安装这些库： pipinstall requests pip install beautifulsoup4 ...
你知道吗？破解一个需要你登录才给访问的网站这么简单
<sdffdsfsdfdfs>sfsfsfsdfsdffds</sdfsDS>Fsd
09-22 1万+
黑客技术点击右侧关注，了解黑客的世界！Java开发进阶点击右侧关注，掌握进阶之路！Python开发点击右侧关注，探讨技术话题！作者丨Kevin来源丨手机黑客不少的网站（其...
爬虫之解决需要登录的网站
King 学吧|King Blog
02-17 1万+
爬虫之解决需要登录的网站 ????前言：平时爬取的网站大都不需要登录就可直接获取到想要的信息，但有时我们想要的信息，需要登录之后，才可以查看，又或者说，有些网站在不登录的状态下a不能查看全部信息，因此，我们需要携带用户数据进行登入爬取。文章中介绍了三种方法解决携带登入用户进行爬取网页信息。 第一种、使用Session 会话对象让你能够跨请求保持某些参数。它也会在同一个 Session 实例发出的所有请求之间保持 cookie。 import requests from fake_useragent im
史上最简单openwrt教程!三分钟三步搞定!碉堡了
09-06
OpenWrt是一个基于Linux的嵌入式操作系统，用于路由器和其他嵌入式设备。它提供了丰富的功能和自定义选项，但对于一些用户来说，在配置和安装上可能稍显复杂。以下是一个简化的OpenWrt安装教程，只需要三分钟和三个简单的步骤即可完成。 第一步，准备工作。首先，确保你拥有兼容OpenWrt固件的路由器设备，并且已连接好电源和网络线。其次，访问OpenWrt官方网站，下载适用于你的路由器型号和版本的固件文件。将该文件保存到你的计算机上。 第二步，进入路由器管理界面。打开你的浏览器，并在地址栏中输入“192.168.1.1”这个默认的路由器管理IP地址。如果你的路由器IP地址有所不同，请查阅相关的资料。在登录界面输入默认的用户名和密码，通常为“root”和“admin”。登录成功后，你将进入路由器的管理页面。 第三步，安装OpenWrt固件。在路由器管理页面中，找到“系统设置”或“固件升级”等类似选项。点击“浏览”按钮，选择之前下载好的OpenWrt固件文件，并点击“安装”或“升级”按钮。等待数分钟，直到固件文件安装完成并路由器自动重启。 通过以上三个简单的步骤，你就可以完成OpenWrt的安装了。安装完成后，你可以进一步在管理界面中自定义设置、添加插件和配置网络等。请注意，在进行任何操作前，务必备份你的路由器配置和数据，以免造成不可挽回的损失。有需要时，也可以参考官方文档和社区论坛，深入了解和利用OpenWrt的更多功能。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值