python读取网页数据-Python根据url获取网页内容

下面是编程之家 jb51.cc 通过网络收集整理的代码片段。

编程之家小编现在分享给大家，也给大家做个参考。

#! /usr/bin/python

# -*- coding:utf-8 -*-

"""""

Created on 2013-11-5

@author: Java

"""

import urllib2

import time

import socket

from sgmllib import SGMLParser

class WebUtil():

def __init__(self):

self.trytims = 3

pass

#读取Url 内容

# timeout=10

# socket.setdefaulttimeout(timeout)#这里对整个socket层设置超时时间。后续文件中如果再使用到socket，不必再设置

# sleep_download_tine=10

# time.sleep(sleep_download_tine)

def readUrl(self,url):

try:

request = urllib2.Request(url,headers = {"User-Agent":"Magic Browser"})

webpage = urllib2.urlopen(url)

content = webpage.read()

return content

request.close()

except Exception,errmg:

print "读取失败：%s"%errmg

return None

if __name__=="__main__":

web = WebUtil()

content = web.readUrl("http://www.open-open.com")

print content

以上是编程之家(jb51.cc)为你收集整理的全部代码内容，希望文章能够帮你解决所遇到的程序开发问题。

如果觉得编程之家网站内容还不错，欢迎将编程之家网站推荐给程序员好友。