python爬虫用户名密码登录POST

本文介绍了一种使用Python的requests库实现网站自动化登录的方法,并通过session维持登录状态,同时利用cookielib进行cookies管理。此外,还展示了如何在登录状态下抓取并下载图片资源。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

# -*- coding: utf-8 -*-
"""
Created on Wed Jun  6 13:18:58 2018
 
@author: Lenovo
"""
 
# -*- coding: utf-8 -*-
 
import requests
import urllib
import random
from datetime import datetime
# python2 和 python3的兼容代码
try:
    # python2 中
    import cookielib
    print(f"user cookielib in python2.")
except:
    # python3 中
    import http.cookiejar as cookielib
    print(f"user cookielib in python3.")
 
# session代表某一次连接
huihuSession = requests.session()
# 因为原始的session.cookies 没有save()方法,所以需要用到cookielib中的方法LWPCookieJar,这个类实例化的cookie对象,就可以直接调用save方法。
huihuSession.cookies = cookielib.LWPCookieJar(filename = "huihuCookies.txt")
 
userAgent = "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.181 Safari/537.36"
header = {
    # "origin": "https://passport.huihu.cn",
    "Referer": "http://hh.haiper.com.cn/w/wander/user/login/",
    'User-Agent': userAgent,
}
 
def huihuLogin(account, password):
    #
    print ("开始模拟登录嘻嘻嘻")
 
    postUrl = "http://hh.haiper.com.cn/w/wander/user/login/"
    postData = {
        "username": account,
        "password": password,
    }
     
    # 使用session直接post请求
    responseRes = huihuSession.post(postUrl, data = postData, headers = header)
    # 无论是否登录成功,状态码一般都是 statusCode = 200   
    #responseRes = requests.post(postUrl, data = postData, headers = header)
    # 无论是否登录成功,状态码一般都是 statusCode = 200
    print(f"statusCode = {responseRes.status_code}")
    #print(f"text = {responseRes.text}")
    huihuSession.cookies.save()
def isLoginStatus():
    # 通过访问个人中心页面的返回状态码来判断是否为登录状态
    for i in range(2131,2134):
        routeUrl = "http://hh.haiper.com.cn/w/bench/extend/health/trade/all?nickname=&type=&gender=&level=&range%5Bstart%5D=2014-11-11+14%3A57&range%5Bend%5D=2018-06-06+14%3A57&page="+str(i)
         
    # 下面有两个关键点
        # 第一个是header,如果不设置,会返回500的错误
        # 第二个是allow_redirects,如果不设置,session访问时,服务器返回302,
        # 然后session会自动重定向到登录页面,获取到登录页面之后,变成200的状态码
        # allow_redirects = False  就是不允许重定向
        try:
            responseRes = huihuSession.get(routeUrl, headers = header, allow_redirects = False)
            result = responseRes.text
        except:
            continue
        start = result.find('<div class="form-control-static form-control-static-list">')
        result = result[start:]
        #print (result)
        for j in range(1,16):
            start = result.find('擦擦擦图片')
            if start==-1:
                break
            else:
                result = result[start:]
                start = result.find('src="')
                result = result[start+5:]
                end = result.find('" class="img-rounded"')
                imgpath = result[:end]
                print (imgpath)
                if imgpath=='/attachment/':
                    continue
                randomname = datetime.now().strftime("%Y%m%d_%H%M%S") + str(random.randint(1,100))+'.jpg'
                try:
                    urllib.request.urlretrieve(imgpath,'./擦擦擦/'+randomname)
                except:
                    continue
        print (i)
    print(f"isLoginStatus = {responseRes.status_code}")
        #print(f"text = {responseRes.text}")
    if responseRes.status_code != 200:
        return False
    else:
        return True
if __name__ == "__main__":
    # 从返回结果来看,有登录成功
    huihuLogin("xxxx", "xxxx")
    isLogin1 = isLoginStatus()
    print(f"is login huihu = {isLogin1}")

 

当你在Python爬虫中遇到返回值显示为乱码的问题,这通常是因为编码未被正确处理。以下是可能导致这种情况的一些原因及解决办法: 1. **字符集不匹配**:检查数据源的原始编码,可能是UTF-8、GBK等,如果你直接读取并打印,可能会因为编码格式不符导致乱码。使用`chardet`库可以检测响应的字符集,然后相应地解码,例如: ```python import chardet response = requests.get('...') encoding = chardet.detect(response.content)['encoding'] content = response.content.decode(encoding) ``` 2. **HTTP头部设置**:有时服务器会通过Content-Type头指定内容编码,如`Content-Type: text/html; charset=utf-8`。确保你在解析响应时设置了正确的编码。 3. **BeautifulSoup 解析**:如果使用BeautifulSoup解析HTML,记得设置合适的编码: ```python from bs4 import BeautifulSoup soup = BeautifulSoup(content, 'lxml', from_encoding=encoding) ``` 4. **文本文件保存**:如果你需要将抓取的数据保存到本地文件,确保以正确的编码保存,比如: ```python with open('output.txt', 'w', encoding='utf-8') as f: f.write(content) ``` 5. **终端编码**:确认你的终端或IDE的默认编码是否正确配置为支持目标字符集。 如果你已经尝试了上述建议仍然无法解决问题,那可能是服务器端进行了特殊处理或者有其他未知因素影响。在这种情况下,你可以尝试联系网站管理员或者查看其API文档是否有特定的请求头要求。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值