python爬虫模拟登录网页

@小时候可乖了@

于 2020-02-20 10:33:20 发布

阅读量1.6k

点赞数 1

分类专栏： python数据分析

本文链接：https://blog.csdn.net/mostermoonsky/article/details/104406193

版权

本文介绍了使用Python的requests模块进行网页模拟登录的方法，重点强调了请求头的正确设置，以避免HTTP Error 405问题。登录链接需从form的POST请求中获取。

摘要由CSDN通过智能技术生成

import urllib.parse
import urllib.request
from http import cookiejar
from io import BytesIO
import gzip


# 通过cookieJar（）类构建一个cookieJar（）对象，用来保存cookie的值

cookie = cookiejar.CookieJar()

# 通过HTTPCookieProcessor（）处理器类构建一个处理器对象，用来处理cookie
# 参数就是构建的CookieJar（）对象
cookie_handler = urllib.request.HTTPCookieProcessor(cookie)

# 构建一个自定义的opener
opener = urllib.request.build_opener(cookie_handler)

# 通过自定义opener的addheaders的参数，可以添加HTTP报头参数  (不好用,网上别的加请求头的方式，失效)
# opener.addhandlers = [("User-Agent", "Opera/9.80 (Windows NT 6.1; U; zh-cn) Presto/2.9.168 Version/11.50")]

headers = {
   
"Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3",
"Cache-Control": "max-age=0",
"Accept-Encoding": "gzip, deflate"