【2019-08-12】python3调用网页上的搜索栏 其实是向一个url接口发送表单

前言:在写python爬虫时,想在某网站上获取一部影片的信息,比如:AVOP-127,要先找到这部影片对应的网页。
有三种情况:
(1)影片对应的网址有规则可寻,比如“www.xxxx.com/movie=AVOP-127”,以直接请求它**。**
(2)在网页上搜索影片,F12抓包后,看到实际请求的url:“www.xxxx.com/search=AVOP-127”种类似的网址,网站便会返回影片对应的网页。
浏览器抓包,还是很好找的:
在这里插入图片描述
(3)以上两种都不行,想用网站上的“搜索栏”搜索影片;在搜索栏输入片名后,抓包,看到了搜索流程实际是向一个url发送表单:
在这里插入图片描述
代码:

# -*- coding:utf-8 -*-
import requests

headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:23.0) Gecko/20100101 Firefox/23.0'}  # 伪装成浏览器浏览网页
url = 'https://www.xxxx.com/search'
params = {'sn': 'avop-127', }  # 表单
jav_html = requests.post(url, data=params, headers=headers).text

print(jav_html)  # jav_html就是得到的html源码
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值