python实例-通过cookie实现登录csdn获取自己微博的文章列表

在使用python做爬虫的时候，大部分情况都会遇到登录问题，这就涉及到python的cookie的用法。这里参照网上的一些资料实现了获取csdn自己微博的列表
功能目标：获取csdn我的微博入口，查看个人的微博列表
思路：1、首先分析csdn登录需要哪些参数
   2、根据需要的参数生产data进行登录，保存cookie信息
   3、分析我的微博的路径进行后续访问，通过BeautifulSoup筛选需要的文章列表

查看csdn登录的from表单

password 和username 自己填写，lt和execution分析需要动态获取，_eventId这个是固定字符串

所以先要请求获取动态lt和execution

#coding:utf-8
import urllib.parse, urllib.request, http.cookiejar, re
from bs4 import BeautifulSoup

def text_create(name, msg):#保存文件，传入文件名与内容
    desktop_path = '/Users/wuhao/Desktop/python/'    
    full_path = desktop_path + name + '.txt' 
    file = open(full_path,'w')             
    file.write(msg) 
    file.close() 
    print('Done :',name)

cookie=http.cookiejar.CookieJar()
cookieProc =urllib.request.HTTPCookieProcessor(cookie)
opener =urllib.request.build_opener(cookieProc)
h=opener.open('https://passport.csdn.net/account/login').read().decode("utf-8")
patten1 = re.compile(r'name="lt" value="(.*?)"')  
patten2 = re.compile(r'name="execution" value="(.*?)"')
#获取csdn登录需要的前置参数 it\execution
lt=patten1.search(h).group(1)
execution=patten2.search(h).group(1)

postData = { 
			'username':'150***@163.com',
			'password':'***',
			'lt':lt,
			'execution':execution,
			'_eventId':'submit'
		}
postData= urllib.parse.urlencode(postData).encode(encoding='UTF8')
opener.addheaders = [('Origin', 'https://passport.csdn.net'),  
		('User-Agent',  
		'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/45.0.2454.101 Safari/537.36'),  
		('Referer', 'https://passport.csdn.net/account/login?from=http://my.csdn.net/my/mycsdn')  
		]  
response = opener.open('https://passport.csdn.net', data=postData)
text = response.read().decode("UTF8")
text_create('csdn_login.html',text)

response2 = opener.open('http://blog.csdn.net') #获取我的CSDN主页
text2 = response2.read().decode('utf-8', 'ignore')
text_create('csdn_mycsdn.html',text2)

response3 = opener.open('http://write.blog.csdn.net').read().decode("utf-8") #获取我的微博主页
patten3 = re.compile(r'var redirect = "(.*?)"') 
blogurl = patten3.search(response3).group(1)
response = opener.open(blogurl)
text4 = response.read().decode("utf-8")
text_create('blog_list.html',text4)
soup = BeautifulSoup(text4, 'html.parser')
#data=soup.select("tr td a[target=\"_blank\"]")
data=soup.select("tr td[class=\"tdleft\"] a")#获取a链接target=_blank的微博列表
print(len(data))
for html_tag in data:
	print("title :  "+html_tag.string)

成功登录之后查看我的博客链接 write.blog.csdn.net

访问之后发现内容不对

原来onload重定向了，所以还要动态获取redirect 作为新的url链接

之后就通过select标签的形式筛选出我需要的博客列表