Python爬虫最简单实现
#!/usr/bin/env python
#coding=utf-8
import urllib
import urllib2
def login():
url = 'https://www.oschina.net/action/user/hash_login'
values= {'userMail':'123@qq.com','userPassword':'123456'}
headers = {'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X10_11_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.87Safari/537.36'}
data = urllib.urlencode(values)
request = urllib2.Request(url=url,data=data,headers=headers)
response = urllib2.urlopen(request)
printresponse.read()
if __name__ == "__main__":
login()
urllib.urlencode来对输入的数据进行格式化,urllib2.urlopen后面既可以是一个request对象又可以是一个URL的字符串。但是推荐使用的是request对象,因为这样看起来比较清楚,从建立请求传入参数,都是比较清晰的。最后对爬到的网页内容进行输出即可。
note:在上面的程序中加上了header信息,并不是所有的网站都是需要加的,但是有些网站禁止爬虫来爬取这些信息,所以加上这些信息之后我们就可以伪造成浏览器的访问请求了。