《python爬虫实战》：模拟登陆

前面几篇博文基本上都是在不需要进行登陆的网页上面的进行内容的抓取。如果有的网页时需要我们先登陆后才能看到的，那么如果要爬取这些上面的网页的内容，就需要先模拟登陆，然后进行数据的抓取。这篇博文是自己学习的如何进行模拟登陆，将其记录下来。

本博文将其知乎网：http://www.zhihu.com为例。

第一步：获取知乎网首页的html源码

用简单的get方法来获取知乎网首页的html源码，实现代码如下：

#encoding=utf-8
#模拟登陆，以知乎网为例
import urllib2
import urllib
import re
class SimuLogin:
    def __init__(self,url):
        self.url=url
    #爬取知乎首页的html源码
    def getPageHtml(self):
        user_agent="Mozilla /5.0 (Windows NT (6.1))"
        headers={
  "User-Agent":user_agent}
        request=urllib2.Request(self.url,headers=headers)
        html=urllib2.urlopen(request)
        print html.read() #测试输出
        return html.read()

#测试
url=raw_input("input a url:")
sLogin=SimuLogin(url)
sLogin.getPageHtml()

上面的代码与前几篇博文的代码一模一样，但是在我们爬取知乎网首页的html源码时，报错。报错如下：

网上查资料，说是有可能是那个网站阻止了这类的访问,只要在请求中加上伪装成浏览器的header就可以了，但是以上的代码确实已经加上了请求头，居然报错，开始检查代码，看是否有自己写错的地方，发现没有，自己就写了自己写的第一个爬百度的html的代码，如下：

#encoding=utf-8
import urllib2
#response=urllib2.urlopen("http://www.xingjiakmite.com")
response=urllib2.urlopen(