python 登录新浪微博_Python 模拟登录新浪微博

在极客学院中看了一个关于爬虫的视频,然后自己实现一遍,并做此记录。 视频链接:http://www.jikexueyuan.com/course/995_4.html?ss=1

该文中的登录方式已经失效。。,思路可以借鉴。

使用requests模块,post需要的表单数据来登录新浪微博手机端(手机端简单点。。),并访问登录后的页面。该方法是定向页面的爬取,如果要批量爬取,使用框架会好一些。

确认登录所需的表单数据

chrome浏览器中访问http://weibo.cn/pub/,点击登录,会进入手机端登录页面。登录微博,并通过开发者工具抓包来分析提交的form信息。如下图:

图1:登录页面(有验证码)

ef1bcc5e3b9a?nomobile=yes

微博登录页面

图2:打开开发者工具,输入账号密码登录,看需要提交的form信息

ef1bcc5e3b9a?nomobile=yes

开发者工具

根据图2,发现需要提交的form信息有下边几个:

mobile:login_name #用户名

password_8891:login_password #密码(password_8891 这个每次都变)

code:fcjf #验证码

remember:on #是否记住登录状态,相当于图1中选中的’记住登录状态‘选项

backURL:http%3A%2F%2Fweibo.cn%2F #登录成功后返回的页面

backTitle:微博

tryCount: #尝试的登录次数

vk:8891_ea7c_2358890024 # vk(每次登录可能会不一样)

capId:2_5cb16cf8473df571 # capId

submit:登录

form表单中不固定,需要我们自己取的表单项有password_8891、code、vk、capId。这些值实际上是从图1中带过来的,使用浏览器打开图1的源码,会发现这些选项。如下图图3:

图3:图1登录页面的部分源码

ef1bcc5e3b9a?nomobile=yes

登录页面源码

基本上我们可以从上图获取到form表单中所需的数据。使用lxml模块来分离出这些信息来。

处理验证码

在表单信息中,有一个code的表单项,是图1中的验证码,自动识别验证码现在还不会,只能用人肉识别,处理方式是在图1的源码中取得验证码的url地址,并保存到本地,然后手动输入。

登录login页面

使用requests模块登录页面,如果我们想访问一些登录后才能访问的页面,有两种方式。

方法一:一开始就访问目标页面,会跳转到登录页面,当我们成功登录后,会根据表单中的backURL自动跳转到目标页面,从而获取我们需要数据。

方法二:使用requests模块的session保持功能,直接请求登录页面,成功后,因为有cookies,所以我们可以直接访问我们需要的页面。这里使用这种方式。

程序代码

# 刚学不久,比较low

#!/usr/bin/env python

#coding=utf-8

import requests

from lxml import etree

import urllib

# 使用requests的会话方法

s = requests.session()

# 定义登录页面和最终要访问的页面(需要登录才能访问)

url_login = "http://login.weibo.cn/login/"

url_final = "http://weibo.cn/msg/"

# 定义自己微博的账户和密码

login_name = "..."

login_password = "..."

# 如果使用第一种方式,可以这样请求

#res = requests.get(url_final).content

# 请求登录页面,获取上面图3所示的源码

res = s.get(url_login).content

# 使用xpath的方式分离表单信息

html = etree.HTML(res)

password = html.xpath('//input[@type="password"]/@name')[0]

backURL = html.xpath('//input[@name="backURL"]/@value')[0]

vk = html.xpath('//input[@name="vk"]/@value')[0]

capID = html.xpath('//input[@name="capId"]/@value')[0]

codeurl = html.xpath('//img/@src')[0]

action = html.xpath('//form/@action')[0]

# 拼接 Request URL,用来提交表单,实现登录

post_url = url_login + action

# 下载验证码到当前目录,并手动输入验证码

def download_code(codeurl):

urllib.urlretrieve(codeurl,"code.jpg")

code = raw_input("please input the code: ")

return code

code = download_code(codeurl)

# 定义表单信息

post_data = {

"mobile" : login_name,

password : login_password,

"code" : code,

"remember" : "on",

"backURL" : backURL,

"backTitle" : u"微博",

"tryCount" : "",

"vk" : vk,

"capId" : capID,

"submit" : u"登录"

}

# 第一种方法,可以使用,返回的源码就是目标地址的源码

#do_post = requests.post(post_url,data=post_data).content

# 提交表单,完成登录

do_post = s.post(post_url,data=post_data).content

# 判断返回的页面是否是验证码错误的页面

if "验证码错误" in do_post:

print "验证码输入错误"

else:

# 请求最终页面

print s.get(url_final).content

# 后续可以写各种匹配规则,来匹配出需要的信息。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值