Python爬虫9-表单交互与模拟登录

最新推荐文章于 2022-11-06 13:14:28 发布
VIP文章 最新推荐文章于 2022-11-06 13:14:28 发布
阅读量922 收藏 4
点赞数
分类专栏： Python爬虫 文章标签： python 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_45112156/article/details/119824581
版权

       

目录

9.1模拟登录

9.1.1Cookie概述

9.1.2提交Cookie模拟登录

9.2表单交互

9.2.1POST方法

9.2.2查看网页源代码提交表单

        无论是简单网页还是采用异步加载技术的网页，都是通过GET方法请求网址来获取网页信息的。但如何通过获取登录表单后的信息的？本节将讲解Reqquests库的Post方法，通过观测表单代码和逆向工程来填写表单以获取网页信息，以及通过提交Cookie信息来模拟登录网站。

        本节设计的主要知识点如下：

        表单交互：利用Requests库的POST方法进行表单交互

        Cookie：了解Cookie的基本概念

        模拟登录&#

最低0.47元/天 解锁文章
查尔斯-狩乃
关注
  • 0
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
cookie 和session
pythondafahao的博客
04-01 212
HTTP协议本身是无状态的，怎么保存来过或登陆过网站的信息？所以我们需要在HTTP协议之外通过某种机制来识别用户的身份。于是就有了Session和Cookie。什么是Cookie，什么是Session？会话(Session)跟踪是Web程序中常用的技术，用来跟踪用户的整个会话。常用的会话跟踪技术是Cookie与Session。Cookie通过在客户端记录信息确定用户身份，Session通过在服务器...
Python模拟网页form表单提交
12-04 1626
示例网站： http://cov-glue-viz.cvr.gla.ac.uk/mutations.php 操作示例（先打开浏览器的调试开关，以chrome为例）： 代码里边的参数跟上图中，右下角红色方框保持一致， 代码： import requests url="http://cov-glue-viz.cvr.gla.ac.uk/mutations.php" params = { "lineageList": "All", "orfList": "All", "mutType.
Python爬取药智网的中药材图谱网页
一只小菜鸟在学飞︿(￣︶￣)︿
11-28 3117
这次学习了python中的BeautifulSoup模块，并用bs爬取的药智网。网址：http://db.yaozh.com/tupu?p= 首先要安装bs，要注意版本问题，我一开始用的beautifulsoup4-4.4.1版本装不上，换成beautifulsoup4-4.2.0就可以了。 这是我写的爬取药智网的代码： #coding=utf-8 from bs4 import Beaut
Python爬虫技术系列-06requests完成yz网数据采集V01
IT从业者的成长历程
11-06 1038
药智网的数据爬取案例
使用BeautifulSoup爬取药智标准网数据（更改）
夜斗不是神
11-29 1111
#coding:utf-8 import urllib2 import bs4 from bs4 import BeautifulSoup class YZBZ(): def __init__(self): self.pageIndex = 1 self.user_agent = 'Mozilla/5.0 (Windows; U; Windows NT 6.
Python网络爬虫项目开发实战_表单交互_编程案例解析实例详解课程教程.pdf
05-03
在前面，我们下载的静态网页...而在本章中，我们将与网页进行交互，根据用户输入返回对应的内容。本章将包含如下几个主题： 1.发送POST请求提交表单： 2.使用cookie登录网站： 3.用于简化表单提交的高级模块Mechanize。
用Python写网络爬虫PDF-理查德 劳森（Richard Lawson）
11-16
第6章 表单交互 89 6.1 登录表单 90 6.2 支持内容更新的登录脚本扩展 97 6.3 使用Mechanize模块实现自动化表单处理 100 6.4 本章小结 102 第7章 验证码处理 103 7.1 注册账号 103 7.2 光学字符识别 106 7.3...
《用Python写网络爬虫》-[澳]理查德 劳森（Richard Lawson）
09-24
《用Python写网络爬虫》介绍了如下内容： 通过跟踪链接来爬取网站； 使用lxml从页面中抽取数据；...与表单和会话进行交互； 解决受保护页面的验证码问题； 对AJAX调用进行逆向工程； 使用Scrapy创建高级爬虫。
python网络爬虫教学ppt
06-06
关于使用python进行网络爬虫的教学PPT，多进程爬虫、异步加载、表单交互与模拟登录、Selenium模拟浏览器.等教学
用Python写网络爬虫
09-26
《用Python写网络爬虫》讲解了如何使用Python来编写网络爬虫程序，内容包括网络爬虫简介，从页面中抓取数据的三种方法，提取缓存中的数据，使用多个线程和进程来进行并发抓取，如何抓取动态页面中的内容，与表单进行...
[python爬虫]表单模拟登录（post请求，xpath数据解析，结果输出）
liyunyang2000的博客
06-10 696
表单模拟登录人人网，访问某个人的主页（如包贝尔主页），爬取其个人信息（姓名，代表作），将结果直接打印输出即可。
layuiajax提交表单控制层代码_Python：表单交互与模拟登陆
weixin_39646107的博客
11-17 251
前面我们又介绍过简单网页和复杂的异步加载网页爬取过程，其实都是通过请求URL网址来获取信息的，但是现在很多网站都需要登录后才能得到信息，这时改如何处理呢？今天我们来介绍通过观查表单源代码和逆向工程来推导出表单信息，来填写表单以获取网页信息，同时通过提交Cookie信息来模拟登录网站。1、表单交互importrequestsparams={ ‘key1’:’value1’...
Python爬虫 requests模块使用post方法提交表单
热门推荐
Hibiki's Ending
11-17 2万+
使用requests库中的post(url,params)方法,先通过观察表单的网页源代码,或者是通过逆向工程的方法获取表单提交的字段,构造参数params,就能实现模拟登录操作. 例如: url = 'http://xxx.com/login' captcha = input() params = { 'email': '[email protected]', 'password': '*...
Python爬虫-requests库学习
m0_61796189的博客
08-16 641
如果要设置中文的Cookie则需要quote和unquote函数进行编码和解码。如果需要爬取很多数据这时可以考虑使用代理，他的原理就是使用第三方机器发送请求，对于服务器而言就是不同的客户端发送，在requests中只需指定proxies参数即可，该参数为字典类型，需要注意的是使用http还是https协议。有很多网站，在访问其Web资源时必须要设置一些HTTP请求头，比如User-agent、Host等，否则无法访问其资源，这是可以利用get方法中的headers参数，该参数是一个字典类型的值，即含有。..
python 模拟表单提交_如何用python 模拟表单提交，获取服务器的文件下载链接
weixin_39898248的博客
12-10 114
问 题下个报告，手动下载需要一个个填写提交，文件自动下载，这样操作对于多个对象都要提交一次表单非常麻烦，有没有什么办法模拟表单进行自动提交下载general内容:Request URL:http://www.hw.com.cn/hw-new/d...Request Method:POSTStatus Code:200 OKRemote Address:110.92.233.12:80respons...
a标签提交form表单_Python爬虫入门-表单提交与模拟登录
weixin_39640085的博客
11-20 363
前言今天主要讲两个方面：利用Request库进行POST请求表单交互cookie实现模拟登录网站Requests实现POST请求今requests可以以多种形式进行post请求，比如form表单形式、json形式等。今天主要以表单形式举例：Reqeusts支持以form表单形式发送post请求，只需要将请求的参数构造成一个字典，然后传给requests.post()的data参数即可。示例网站：豆...
python使用requests和loginform模拟登陆网站
szuhuanggang的博客
07-12 1078
代码如下： import requests from loginform import fill_login_form from bs4 import BeautifulSoup as bs url = 'xxx' user = 'xxx' passwd = 'xxx' session = requests.Session() headers = {} # 有些网站可能需要预设...
python填写表单并提交_Python实现模拟登录及表单提交的方法
weixin_29016865的博客
01-29 1107
本文实例讲述了Python实现模拟登录及表单提交的方法。分享给大家供大家参考。具体实现方法如下： # -*- coding: utf-8 -*-import reimport urllibimport urllib2import cookielib#获取CSDN博客标题和正文url = "http://blog.csdn.net/[username]/archive/2010/07/05/5712...
python模拟登录爬虫 简书_Python爬虫入门-表单提交与模拟登录
weixin_30131105的博客
02-21 150
前言今天主要讲两个方面：利用Request库进行POST请求表单交互cookie实现模拟登录网站Requests实现POST请求今requests可以以多种形式进行post请求，比如form表单形式、json形式等。今天主要以表单形式举例：Reqeusts支持以form表单形式发送post请求，只需要将请求的参数构造成一个字典，然后传给requests.post()的data参数即可。有两种方式可...
python爬虫框架Selenium
最新发布
07-28
Selenium是一个用于Web自动化的Python爬虫框架。它可以模拟用户在浏览器中的操作，如点击、填写表单、提交等，从而实现爬取网页数据的目的。Selenium可以与各种浏览器进行交互，包括Chrome、Firefox、Safari等。 Selenium的主要特点是操作灵活、功能强大，适用于各种复杂的网页爬取任务。它支持多种编程语言，其中包括Python。使用Selenium，你可以通过编写Python脚本来控制浏览器进行网页操作，并提取所需的数据。 需要注意的是，由于Selenium模拟用户行为，因此对于一些需要JavaScript渲染的网页，使用Selenium可能会比较慢。此外，为了使用Selenium，你需要安装浏览器驱动程序，如Chrome Driver或Gecko Driver，以便与相应的浏览器版本进行交互。 总之，如果你需要进行复杂的网页爬取任务，包括模拟用户操作等，Selenium是一个不错的选择。你可以通过搜索相关文档和教程来学习如何使用Selenium进行Python爬虫开发。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值