第一个爬虫程序

其实urlopen参数可以传入一个request请求,它其实就是一个Request类的实例，构造时需要传入Url,Data等等的内容。

 

#coding:GBK

import urllib2

 

#response = urllib2.urlopen("http://www.51job.com/")

response = urllib2.urlopen("http://search.51job.com/jobsearch/search_result.php?fromJs=1&jobarea=220000%2C00&district=000000&funtype=0100&industrytype=00&issuedate=4&providesalary=99&keywordtype=2&curr_page=1&lang=c&stype=1&postchannel=0000&workyear=99&cotype=99&degreefrom=99&jobterm=99&companysize=99&lonlat=0%2C0&radius=-1&ord_field=0&list_type=0&fromType=14&dibiaoid=0&confirmdate=9");

printresponse.read().decode('gbk')

 

是的你没看错，真正的程序就两行，把它保存成 demo.py，进入该文件的目录，执行如下命令查看运行结果，感受一下。

 

POST和GET数据传送

 

上面的程序演示了最基本的网页抓取，不过，现在大多数网站都是动态网页，需要你动态地传递参数给它，它做出对应的响应。所以，在访问时，我们需要传递数据给它。最常见的情况是什么？就是登录注册的时候。

把数据用户名和密码传送到一个URL，然后你得到服务器处理之后的响应，这个该怎么办？

 

数据传送分为POST和GET两种方式，两种方式有什么区别呢？

 

最重要的区别是GET方式是直接以链接形式访问，链接中包含了所有的参数，当然如果包含了密码的话是一种不安全的选择，不过你可以直观地看到自己提交了什么内容。POST则不会在网址上显示所有的参数，不过如果你想直接查看提交了什么就不太方便了，大家可以酌情选择。

 

POST方式：

 

上面我们说了data参数是干啥的？它就是用在这里的，我们传送的数据就是这个参数data，下面演示一下POST方式。

importurllib

import urllib2

 

values = {"username":"9890808070@qq.com","password":"XXXX"}

data = urllib.urlencode(values)

url = "https://passport.csdn.net/account/login?from=http://my.csdn.net/my/mycsdn"

request = urllib2.Request(url,data)

response = urllib2.urlopen(request)

printresponse.read()

 

我们引入了urllib库，现在我们模拟登陆CSDN，当然上述代码可能登陆不进去，因为还要做一些设置头部header的工作，或者还有一些参数没有设置全，还没有提及到在此就不写上去了，在此只是说明登录的原理。我们需要定义一个字典，名字为values，参数我设置了username和password，下面利用urllib的urlencode方法将字典编码，命名为data，构建request时传入两个参数，url和data，运行程序，即可实现登陆，返回的便是登陆后呈现的页面内容。当然你可以自己搭建一个服务器来测试一下。

 

注意上面字典的定义方式还有一种，下面的写法是等价的

 

importurllib

import urllib2

 

values = {}

values['username'] = "9890808070@qq.com"

values['password'] = "XXXX"

data = urllib.urlencode(values)

url = "http://passport.csdn.net/account/login?from=http://my.csdn.net/my/mycsdn"

request = urllib2.Request(url,data)

response = urllib2.urlopen(request)

printresponse.read()

 

以上方法便实现了POST方式的传送

 

GET方式：

至于GET方式我们可以直接把参数写到网址上面，直接构建一个带参数的URL出来即可。

 

importurllib

import urllib2

 

values={}

values['username'] = "9890808070@qq.com"

values['password']="XXXX"

data = urllib.urlencode(values)

url = "http://passport.csdn.net/account/login"

geturl = url + "?"+data

request = urllib2.Request(geturl)

response = urllib2.urlopen(request)

printresponse.read()

你可以print geturl，打印输出一下url，发现其实就是原来的url加？然后加编码后的参数