试验了一个晚上,python的小爬虫还是挺可爱的,简单几行就可以抓取网页了。如果你和我一样是新手,你可以先去http://blog.csdn.net/column/details/why-bug.html了解一下爬虫和网络的基本知识。强调一下,这个爬虫和搜索引擎的爬虫是有区别的。搜索引擎的爬虫是一种对图的遍历,沿着超链接不断爬取整个网络。我们的小爬虫很懒惰,只爬取我们指定的url,下面就是对淘宝实现模拟登录。
先看代码:
import urllib
import urllib2
import cookielib
def taobao(username,password):
cj = cookielib.CookieJar()
print cj
post_data = urllib.urlencode(
{
'TPL_password':password,
'TPL_username':username,
})
path = 'https://login.taobao.com/member/login.jhtml'
opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cj))
opener.addheaders = [('User-agent', 'Mozilla/5.0 (Windows; U; Windows NT 6.1; zh-CN; rv:1.9.2.13) Gecko/20101203 Firefox/3.6.13')]
urllib2.install_opener(opener)
req = urllib2.Request(path,post_