python爬虫登录不了_python爬虫模拟登录网站,总是不成功

本文介绍了使用Python的mechanize库进行网站模拟登录的方法,包括设置cookie、构造header和Post数据,以解决爬虫登录问题。代码示例中展示了登录过程的关键步骤。
摘要由CSDN通过智能技术生成

#!/usr/bin/python

# -*- coding=utf-8 -*-

import HTMLParser

import urlparse

import urllib

import urllib2

import cookielib

import string

import mechanize

import re

from bs4 import BeautifulSoup

import sys

reload(sys)

sys.setdefaultencoding('utf-8')

br = mechanize.Browser()

cj = cookielib.LWPCookieJar()

br.set_cookiejar(cj)

###登录的主页面

hosturl = 'http://www.iiyi.com/'

####post数据接收和处理的页面(我们要向这个页面发送我们构造的Post数据)

posturl = 'http://auth.iiyi.com/?referer=http%3A%2F%2Fwww.iiyi.com%2F' ###从数据包中分析出,处理post请求的url

###设置一个cookie处理器,它负责从服务器下载cookie到本地,并且在发送请求时带上本地cookie

cookie_support = urllib2.HTTPCookieProcessor(cj)

opener = urllib2.build_opener(cookie_support, urllib2.HTTPHandler)

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值