python访问需要登录的网页

最新推荐文章于 2021-09-12 19:38:02 发布
最新推荐文章于 2021-09-12 19:38:02 发布
阅读量560 收藏 3
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Ponder_xl/article/details/8703416
版权

有些网页需要你登录之后才可以访问,你需要提供账户和密码。 只要在发送http请求时，带上含有正常登陆的cookie就可以了。 1.首先我们要先了解cookie的工作原理。 Cookie是由服务器端生成，发送给User-Agent（一般是浏览器），浏览器会将Cookie的key/value保存到某个目录下的文本文件内，下次请求同一网站时就发送该Cookie给服务器（前提是浏览器设置为启用cookie）。Cookie名称和值可以由服务器端开发自己定义，对于JSP而言也可以直接写入jsessionid，这样服务器可以知道该用户是否合法用户以及是否需要重新登录等。 2.之后我们要获取到用户正常登录的cookie. python提供了cookieJar的库，只要把cookieJar的实例作为参数传到urllib2的一个opener里面。 然后访问一次登录的页面，cookie就已经保存下来了。之后通过这个实例访问所有的页面都带有正常登陆的cookie了。


Python代码
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
最低0.47元/天 解锁文章
Ponder_xl
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Python爬虫绕过登录的小技巧
KHOST的博客
05-10 7486
前言 很多时候我们做 Python 爬虫时或者自动化测试时需要用到 selenium 库，我们经常会卡在登录的时候，登录验证码是最头疼的事情，特别是如今的文字验证码和图形验证码。文字和图形验证码还加了干扰线，本文就来讲讲怎么绕过登录页面。 登录页面的验证，比如以下的图形验证码。 还有我们基本都看过的 12306 的图形验证码。 绕过登录方法 绕过登录基本有两种方...
python实现访问需要登陆的网页
u011093930的专栏
09-06 1786
一 首先使用flask 编写一个Web服务器，用于模拟基础验证页面。代码如下。 from flask import Flask from flask import request import base64 app = Flask(__name__) def hasAuth(auth,response): if auth == None or auth.strip() == "": response.status_code = 401 response.heade
python访问需要登录的页面
Jepson的博客
09-12 1906
python访问登录后的页面，如药智网：https://www.yaozh.com/，访问登录后的个人中心页面：https://www.yaozh.com/member/ 方法一：用浏览器登录后，将cookie复制下来放在请求头中 import requests headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987
python操作本地浏览器webbrowser
Jonariguez 吾本优秀
04-16 1万+
python操作本地浏览器webbrowser webbrowser是python3自带的库，可以直接用import webbrowser导入。 webbrowser的使用 import webbrowser as web web.open('https://www.baidu.com') 就可以直接使用默认的浏览器打开https://www.baidu.com 选用别的浏览器 那就需要先注册...
Python 爬取需要登陆的网页的信息
wh0giq68的博客
05-16 2998
Python 爬取需要登陆的网页的信息登入网页方式1 Cookie2 Selenium 自动登录法代码实现及解释登入网页登入网页后爬取菜单下的网页的信息保存爬取的信息全部代码 登入网页方式 1 Cookie 登入网页后，按F12-选择network，找到cookie,把它全都复制了 2 Selenium 自动登录法 具体可以看 https://www.jb51.net/article/165183.htm 代码实现及解释 登入网页 利用requests的session headers = { # 浏览器 在
Python实现自动访问网页的例子
09-17
今天小编就为大家分享一篇Python实现自动访问网页的例子，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
python 实现登录网页的操作方法
09-20
- 登录成功后，再次使用`opener.open()`访问需要登录权限的页面，此时携带的Cookie会让服务器认为请求来自已登录的用户。 4. **示例代码解析**： - 示例代码展示了如何使用Python实现人人网的登录。首先定义一个...
Python3访问并下载网页内容的方法
09-21
在Python编程语言中，访问和下载网页内容是网络爬虫的基础操作，这通常涉及到网络请求、数据解析和文件处理等技术。以下将详细介绍如何使用Python3实现这些功能。 首先，Python提供了`urllib`库来处理HTTP请求。在...
python 2.7 检测一个网页是否能正常访问的方法
09-19
在Python 2.7中，检测一个网页是否能正常访问是通过HTTP请求库来实现的。在这个例子中，我们使用了流行的第三方库`requests`。`requests`库提供了简单易用的API，使得发送HTTP请求变得非常直观。下面将详细解释这段...
python访问抓取网页常用命令总结
09-21
这个模块提供了访问网页的基本功能，包括GET和POST两种请求方式。下面我们将逐一探讨这些命令。 1. **简单的网页抓取**： 这是最基础的GET请求，用于获取网页内容。导入`urllib.request`模块，然后调用`urlopen()`...
Python笔记 之使用HTTP访问网页
weixin_50648794的博客
01-28 591
Python代码 代码下载 import http.client defaultsite = 'fashion.sina.com.cn' defaultpage = '/s/tr/2021-01-26/1845/doc-ikftssap0645087.shtml' defaultlines = 20 def getfile(): site = input('Enter host => ') if not site: site = defaultsite pa
如何用 Python 爬取需要登录的网站？
热门推荐
Python开发者
12-30 3万+
(点击上方蓝字，快速关注我们)英文：Tzahi Vidas   编译： 伯乐在线 -   ebigear  http://python.jobbole.com/83588/最近我必须执行一项从一个需要登录的网站上爬取一些网页的操作。它没有我想象中那么简单，因此我决定为它写一个辅助教程。在本教程中，我们将从我们的bitbucket账户中爬取一个项目列表。教程中的代码可以从我的 Github 中找到。
用python访问网页
Seraph
09-03 4852
python 3 核心代码 import urllib.request url="https://www.baidu.com" req=urllib.request.Request(url) resp=urllib.request.urlopen(req) result=resp.read().decode('utf-8') print(result) 结果 <html> &lt...
Python socket 访问网站发送 HTTP POST请求,从而深刻理解 HTTP 协议
cpxsxn的博客
08-02 6258
用最原始的包 socket 来居然可以访问网站模拟发送 POST 请求，这是对最大的收获。 更进一步的参考 https://www.jianshu.com/p/f196c74e72dd import socket input_dict = {'name':'cheng', 'age':23} s = socket.socket(socket.AF_INET, socket.SOCK_STREAM) s....
关于电压互感器的详细介绍.pdf
最新发布
07-20
电压互感器（Voltage Transformer，简称VT），又称电压变压器或电压互感器（PT），是电力系统中不可或缺的重要设备之一。以下是关于电压互感器的详细介绍： 一、定义与功能 电压互感器是一种用于测量高电压并将其转换成低电压信号的电器设备，以便于测量、监测和保护。它主要用于电力系统中测量仪表、继电保护等二次设备获取电气一次回路电压信息的传感器。通过将高电压按比例转换成低电压（如100V或更低），电压互感器使得电力系统中的电压测量、保护和控制变得更加容易和安全。 二、工作原理 电压互感器的工作原理基于电磁感应原理。它通常由高压绕组、低压绕组和磁芯组成。高压绕组与高压电网中的相线相连，低压绕组则与电压表、保护装置等低压设备相连。当高压绕组中有电流通过时，会在绕组中产生磁场，这个磁场会穿过磁芯并感应到低压绕组中，从而在低压绕组中产生电压。由于低压绕组的匝数较多，因此在低压绕组中感应到的电压远低于高压绕组中的电压。 三、类型与分类 根据功能和用途，电压互感器可以分为多种类型。常见的类型包括电磁式电压互感器（如电容式电压互感器，应用广泛）和非电磁式电压互感器（如电子式、光电式等）
pythonpost登录网页
05-24
要使用Python进行网页登录，通常需要使用requests和BeautifulSoup库。 以下是一个简单的示例代码，可以实现使用POST方法登录网页： ```python import requests from bs4 import BeautifulSoup # 登录页面的URL login_url = 'https://example.com/login' # 登录时提交的数据 payload = { 'username': 'your_username', 'password': 'your_password' } # 创建一个Session对象 with requests.Session() as session: # 发送POST请求进行登录 response = session.post(login_url, data=payload) # 如果登录成功，可以访问其他需要登录才能访问的页面 if response.ok: # 需要登录才能访问的页面的URL protected_url = 'https://example.com/protected-page' # 发送GET请求访问需要登录才能访问的页面 response = session.get(protected_url) # 使用BeautifulSoup解析HTML内容 soup = BeautifulSoup(response.text, 'html.parser') # 在这里可以继续处理需要登录才能访问的页面的内容 # 例如，可以查找特定的元素或执行其他操作 ``` 在上面的代码中，我们首先指定了登录页面的URL和登录时提交的数据。然后，我们使用requests库创建一个Session对象，并使用Session对象发送POST请求进行登录。如果登录成功，我们可以继续访问其他需要登录才能访问的页面。在这个示例中，我们指定了一个需要登录才能访问的页面的URL，并发送了一个GET请求来获取页面的内容。最后，我们使用BeautifulSoup库解析HTML内容，并在需要的情况下对其进行处理。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值