【用Python写爬虫】获取html的方法【二】：使用pycurl

Normal 0 7.8 磅 0 2 false false false MicrosoftInternetExplorer4      个人觉得， Python 是一种让编程人员非常自在的语言。脚本性，实时性，开源性 .......... 无不信手拈来。用 Python 书写爬虫更是如此。

     在此处没有语法介绍，没有hello world.....，只有应用，只有代码

 

# Pycurl参考地址：http://pycurl.sourceforge.net/

# Pycurl下载地址：http://pycurl.sourceforge.net/download/pycurl-7.18.1.tar.gz

 

 

# -*- coding: UTF-8 -*-

import pycurl

import StringIO

 

def getURLContent_pycurl(url):    

    c = pycurl.Curl()

    c.setopt(pycurl.URL,url)

    b = StringIO.StringIO()

    c.setopt(pycurl.WRITEFUNCTION, b.write)

    c.setopt(pycurl.FOLLOWLOCATION, 1)

    c.setopt(pycurl.MAXREDIRS, 5)

    # 代理

    #c.setopt(pycurl.PROXY, 'http://11.11.11.11:8080')

    #c.setopt(pycurl.PROXYUSERPWD, 'aaa:aaa')

    c.perform()

    return b.getvalue()

 

url = 'http://blog.csdn.net'

content = getURLContent_pycurl(url)

print content

来自 “ ITPUB博客 ” ，链接：http://blog.itpub.net/10372673/viewspace-345698/，如需转载，请注明出处，否则将追究法律责任。

转载于:http://blog.itpub.net/10372673/viewspace-345698/