静态网页爬取

使用python爬取网页有很多的API可以使用，但由于API太多，导致有时不知选择哪个。有时，我们想要设置proxy，就要用这套API，想要设置cookie，就得用另一套API。故总结了一个较为全面的爬取流程API，可实现timeout、proxy、cookie、header（7个字段的值设置）以及访问网页可能出现的Error。

 

 

• proxy：代理，有些网站使用代理时无法访问。
• cookie：一般用来维持登录状态。
• timeout：超时，单位为秒，当网页有时可以访问，有时无法访问时，可以将该值设置大一点。
• header：模拟浏览器。

 

注：python3

 

#coding:utf-8    
import urllib.request    
import http.cookiejar    
import urllib.error  
import urllib.parse  
    
"""一、添加header"""    
#1.1、以字典的形式设置headers    
header={ "Accept":"text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8",    
          "Accept-Language":"zh-CN,zh;q=0.8,en-US;q=0.5,en;q=0.3",    
          "User-Agent":"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/38.0.2125.122 Safari/537.36 SE 2.X MetaSr 1.0",    
          "Connection": "keep-alive",    
          #"referer":"http://news.163.com/"    
          }    
#header常见字段有7个，除上述5个外，还有Host，Accept-Encoding  
#header用字典的原因是，可以轻松地更改某个字段的值    
#referer字段：一般为要爬取的网页的域名地址或对应网站的主页地址  
#Accept-Encoding字段：浏览器支持的压缩编码  
#Host字段：服务器网址  
web_url= "http://www.renren.com/PLogin.do"    
    
#1.2、构建Request对象  
 
postData = urllib.parse.urlencode({ 
    "email":"mxxxx@163.com",
    "password":"axxxx" 
    }).encode('utf-8') 
#encode：将Unicode码转为utf-8码
#或者
import json
postData = json.dumps({
    "email":"mxxxx@163.com",
    "password":"axxxx" 
    }).encode('utf-8')
#对于嵌套字典的数据提交，建议使用第二种
 
req = urllib.request.Request(url=web_url,  
                             data=postData,  
                             headers=header,
                             #method='POST'
                             ) 
#当有数据需要提交时（即data有值时），method='POST'  
#可以参考http://blog.csdn.net/nunchakushuang/article/details/75294947对于data的使用  
  
"""二、构建opener对象"""    
#2.1、设置cookie处理器
#用来保存cookie
cjar = http.cookiejar.CookieJar()
cookie = urllib.request.HTTPCookieProcessor(cjar)
    
#2.2、设置proxy代理处理器
#proxy可通过搜索西刺代理，找到对应的type、IP、port
#高匿代理：服务器看不到你的IP
#透明代理：服务器即可看见proxy的IP，又可看见你的IP
proxy = urllib.request.ProxyHandler({'https':"114.230.41.248:808"})
 
#私密代理，需要账号密码
#快代理https://www.kuaidaili.com/
#proxy = urllib.request.ProxyHandler({'https':"账号:密码@IP:port"})
 
#企业用，一般不在程序中写，而是将代理放到文件或者环境变量中，再导入。
#str = os.environ.get("环境变量名")
 
#不用代理，亦可不写
#proxy = urllib.request.ProxyHandler({})
    
#2.3、使用proxy和cookie处理器来构建opener对象
#build_opener()可以添加多个处理器
opener = urllib.request.build_opener(proxy, cookie)    
#如果仅构建cookie处理器    
#opener = urllib.request.build_opener(cookie)    
#如果仅构建proxy处理器    
#opener = urllib.request.build_opener(proxy)  
#如果都不构建  
#opener = urllib.request.build_opener()
#或者直接使用urllib.request.urlopen()来访问。
    
"""三、将opener安装为全局"""    
urllib.request.install_opener(opener)
#有什么用？
#安装为全局之后，就可以使用urllib.request.urlopen()方式发送，附带handler的功能
#若不设为全局，则只能发送一次带handler的请求。
 
"""四、访问网页"""    
try:
    #发送第一次的post请求，生成登录后的cookie(如果登录成功的话)
    response = opener.open(req, timeout=3)    
except urllib.error.URLError as e:    
    if hasattr(e, 'code'):    
        print(e.code)    
    if hasattr(e, 'reason'):    
        print(e.reason)    
else:            
    webData=response.read()  
  
  
fhandle=open("2.html","wb")    
fhandle.write(webData)    
fhandle.close()
 
# 第二次可以是get请求，这个请求将保存生成cookie一并发到web服务器，服务器会验证cookie通过
response_deng = opener.open("http://www.renren.com/410043129/profile")
print(response_deng.read().decode('utf-8'))

 

 

对于爬取到的网页进行元素提取，主要有以下几种方法：

 

 

• python 的re模块；
• bs4的BeautifulSoup；
• Xpath；