python爬带用户名密码的网页_python爬虫：使用账号、密码和验证码登录知乎网页...

最新推荐文章于 2022-01-05 20:01:54 发布

weixin_39959615

最新推荐文章于 2022-01-05 20:01:54 发布

阅读量1.2k

点赞数

文章标签： python爬带用户名密码的网页

本文演示了如何使用Python模拟登录知乎网站，包括设置请求头、处理gzip压缩、处理SSL证书问题、获取_xsrf令牌、输入验证码并提交登录信息。在过程中遇到了SSL证书验证失败和验证码过期的问题，并提供了相应的解决方案。

摘要由CSDN通过智能技术生成

先上代码，后分析出现的问题：

1 #coding:utf-8

2 importre3 from bs4 importBeautifulSoup4 importgzip5 importurllib.request6 importurllib.parse7 importhttp.cookiejar8 importssl9 importtime10

11 defget_opener(heads):12 cj=http.cookiejar.CookieJar()13 pro=urllib.request.HTTPCookieProcessor(cj)14 opener=urllib.request.build_opener(pro)15 header=[]16 for key,value inheads.items():17 header.append((key,value))18 opener.addheaders=header19 returnopener20

21 defungzip(data):22 try:23 print("正在解压....")24 data=gzip.decompress(data)25 print("解压完成")26 except:27 print("无需解压")28 returndata29

30 if __name__=="__main__":31 ssl._create_default_https_context =ssl._create_unverified_context32 heads={33 "Accept":"text/html, application/xhtml+xml, */*",34 "Accept-Language":"zh-CN",35 "User-Agent":"Mozilla/5.0 (Windows NT 6.3; WOW64; rv:43.0) Gecko/2

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

weixin_39959615

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

python怎么爬取网站所有用户_如何用 Python 爬取需要登录的网站？

weixin_39540271的博客

11-29

795

最近我必须执行一项从一个需要登录的网站上爬取一些网页的操作。它没有我想象中那么简单，因此我决定为它写一个辅助教程。在本教程中，我们将从我们的bitbucket账户中爬取一个项目列表。教程中的代码可以从我的 Github 中找到。我们将会按照以下步骤进行：提取登录需要的详细信息执行站点登录爬取所需要的数据在本教程中，我使用了以下包（可以在 requirements.txt 中找到）：requests...

别让加密难倒你,Python爬虫攻克加密网站的实战教程！

最新发布

didiplus

08-30

1611

数据窃取艺术：Python在加密网站上的隐秘行动攻略！

参与评论您还未登录，请先登录后发表或查看评论

python用户名和密码登录_Python爬虫带用户名密码登录

weixin_39615984的博客

11-21

1035

# -*- coding: utf-8 -*-"""Created on Wed Jun 6 13:18:58 2018@author: Lenovo"""# -*- coding: utf-8 -*-import requestsimport urllibimport randomfrom datetime import datetime# python2 和 python3的兼容代码try:...

爬带登陆名和密码以及验证码的网站

yuqinjh的博客

11-27

3870

爬取网站时经常会遇到需要登录的问题，这是就需要用到模拟登录的相关方法。python提供了强大的url库，想做到这个并不难。这里以登录学校教务系统为例，做一个简单的例子。首先得明白cookie的作用，cookie是某些网站为了辨别用户身份、进行session跟踪而储存在用户本地终端上的数据。因此我们需要用Cookielib模块来保持网站的cookie。这个是要登陆的地址 http:/

python爬带用户名密码的网页_【20171104早】python爬虫之username,password登陆

weixin_39642990的博客

12-04

1145

工欲善其事，必先利其器。网站只能通过交互式登陆吗？当然不是，作为网络蛮荒世界的一个剑客，老黑欲练就自由之剑，呵呵，就是用代码编写可以自动登陆系统的工具，从而获取想要的数据。简单版：样板网站：成绩系统：http://jwc.ecjtu.jx.cn/mis_o/login.htm账号：jwc密码：jwcNow! Let's go! go ! go!s1：获取实际登陆的url，老黑使用了firefox，...

python爬虫需要登录密码账户_40.项目案例之利用爬虫技术获取需要帐号密码登录的网页中的数据...

weixin_39799825的博客

12-05

1826

近期公司需要开发一个能够读取设备内部网页信息，我想到了用爬虫的方法来获取相关数据，具体代码如下：#!/usr/bin/env python3#-*- coding: UTF-8 -*-importrequestsimporttimeclassGetData():#初始化变量def __init__(self, url):self.url=url#要用帐号密码登录，首先需要在先通过浏览器登录网页，然...

python爬虫登录有验证码_python爬虫之自动登录与验证码识别

weixin_39692847的博客

11-29

318

在用爬虫爬取网站数据时，有些站点的一些关键数据的获取需要使用账号登录，这里可以使用requests发送登录请求，并用Session对象来自动处理相关Cookie。另外在登录时，有些网站有时会要求输入验证码，比较简单的验证码可以直接用pytesser来识别，复杂的验证码可以依据相应的特征自己采集数据训练分类器。以CSDN网站的登录为例，这里用Python的requests库与pytesser库写了一...

python爬虫模拟知乎登录.zip

12-30

Python爬虫模拟知乎登录是网络数据采集领域中的一个重要实践，主要涉及到如何利用Python编程语言以及相关的库来模拟浏览器的行为，实现自动登录网站并获取登录后才能查看的数据。在这个案例中，我们将聚焦于Python的...

zhihu_scrapy_爬虫excel_知乎爬虫_scrapy扫码登录_

10-01

"zhihu_scrapy_爬虫excel_知乎爬虫_scrapy扫码登录_" 描述了一种使用Python的Scrapy框架开发的知乎爬虫项目，该爬虫能够实现通过手机扫码的方式模拟登录知乎，然后抓取用户指定的知乎页面上的内容，如回答和评论，并...

网络爬虫之用户名密码及验证码登陆：爬取知乎网站

Python4857的博客

01-05

5075

前言今天来教大家如何爬取知乎网站，最近到底有哪些有意思的事情发生呢？不过爬取网站首先会面临的问题，当然是登陆了。准备使用requests包来爬取。首先尝试用用户名密码自动登陆，如果失败，则需要采用cookie登陆。配置文件config.ini，其中包括用户名密码信息，如果有验证码情况，需要手动登陆一次网站获取cookie信息。判断登陆成功与否，看生成的html文件中有没有用户信息。代码实现 # -*- coding: utf-8 -*- impo.

python爬取网页数据(模拟用户名密码登录)

weixin_40368523的博客

05-06

5074

python爬取网页数据(模拟用户登录) 简介：python模拟用户登录，获取网页数据。 # -*- coding: utf-8 -*- import requests import json import http.cookiejar as cookielib from bs4 import BeautifulSoup from lxml import et...

Python使用selenium实现网页用户名 密码 验证码自动登录功能

01-20

好久没有学python了，反正各种理由吧（懒惰总会有千千万万的理由），最近网上学习了一下selenium，实现了一个简单的自动登录网页，具体如下。 1.安装selenium：如果你已经安装好anaconda3,直接在windows的dos窗口输入命令安装selenium： python -m pip install --upgrade pip 查看版本pip show selenium 2.接着去http://chromedriver.storage.googleapis.com/index.html下载chromedriver.exe（根据chrome的版本下载对应的） 3.将下载好的ch

python spider 多线程爬虫帐号密码登陆爬取简单例子

06-28

文件列表 │ requirements.txt │ source.txt │ tumblr.py │ user.txt │ └─snapshoots results.png

Python抓需要输入用户名密码的https网页

liumengcheng的专栏

07-30

7610

import urllib2 #http response = urllib2.urlopen('http://python.org/') html = response.read() print html #https url = "https://www.xxx.com/xxx/xxx" # Add username and password. username = "sc

python用户名和密码登录_Python爬虫：账号密码登入扇贝

weixin_39770416的博客

11-24

2342

写在前面的话网上的教程都太简单了（代码又太难了），我摸索了好一阵。所以这是一个特别啰嗦的教程，每一步都有截图。整个流程：确保你的库都全了用账号密码登入网页取读炼句信息清洗数据保存数据到Excel附完整代码代码运行界面老规矩：安装库import requestsimport jsonimport reimport xlwt确认一下，你有没有requests和xlwt的库，没有的话，装一下如果不装，代...

python 带账号密码的爬取