urllib的基本用法以及一些参数的设置
import urllib
import urllib2
url = 'http://www.xxx.com/login'
user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'
values = {'username': 'xxx', 'password': 'xxx'}
headers = {'User_Agent': 'user_agent'}
data = urllib.urlencode(values)
request = urllib2.Request(url, data, header)
response = urllib2.urlopen(request)
html = response.read()
print html
设置了一个headers,这样在发送请求是,headers的信息会发送到服务器,而服务器则会响应。
values是请求参数,会以post提交方式提交到服务器,而get请求参数会附在url后面提交到服务器,如:http://www.xxx.com/login?username=xxx&password=xxx,这种方式回事数据直接暴露在地址栏中,有时会有泄露信息的风险,所以涉及到比较私密的数据回忆post方式提交。
这样,我们就能获取到网页的源代码,python学习爬虫语法简结,入门简单,是一个很好的选择。