利用Python抓取和解析网页

转载 2012年03月24日 18:38:46

对搜索引擎、文件索引、文档转换、数据检索、站点备份或迁移等应用程序来说,经常用到对网页(即HTML文件)的解析处理。事实上,通过Python语言提供的各种模块,我们无需借助Web服务器或者Web浏览器就能够解析和处理HTML文档。本文将详细介绍如何利用Python抓取和解析网页。首先,我们介绍一个可以帮助简化打开位于本地和Web上的HTML文档的Python模块,然后,我们论述如何使用Python模块来迅速解析在HTML文件中的数据,从而处理特定的内容,如链接、图像和Cookie等。最后,我们会给出一个规整HTML文件的格式标签的例子,通过这个例子您会发现使用python处理HTML文件的内容是非常简单的一件事情。

  一、解析URL

  通过Python所带的urlparse模块,我们能够轻松地把URL分解成元件,之后,还能将这些元件重新组装成一个URL。当我们处理HTML 文档的时候,这项功能是非常方便的。

 

Python代码  收藏代码
  1. import urlparse  
  2.   
  3.   parsedTuple = urlparse.urlparse(  
  4.   
  5.   "http://www.google.com/search?  
  6.   
  7.   hl=en&q=urlparse&btnG=Google+Search")  
  8.   
  9.   unparsedURL = urlparse.urlunparse((URLscheme, \  
  10.   
  11.   URLlocation, URLpath, ''''''))  
  12.   
  13.   newURL = urlparse.urljoin(unparsedURL,  
  14.   
  15.   "/module-urllib2/request-objects.html")  

 函数urlparse(urlstring [, default_scheme [, allow_fragments]])的作用是将URL分解成不同的组成部分,它从urlstring中取得URL,并返回元组 (scheme, netloc, path, parameters, query, fragment)。注意,返回的这个元组非常有用,例如可以用来确定网络协议(HTTP、FTP等等 )、服务器地址、文件路径,等等。

 

  函数urlunparse(tuple)的作用是将URL的组件装配成一个URL,它接收元组(scheme, netloc, path, parameters, query, fragment)后,会重新组成一个具有正确格式的URL,以便供Python的其他HTML解析模块使用。

  函数urljoin(base, url [, allow_fragments]) 的作用是拼接URL,它以第一个参数作为其基地址,然后与第二个参数中的相对地址相结合组成一个绝对URL地址。函数urljoin在通过为URL基地址附加新的文件名的方式来处理同一位置处的若干文件的时候格外有用。需要注意的是,如果基地址并非以字符/结尾的话,那么URL基地址最右边部分就会被这个相对路径所替换。比如,URL的基地址为Http://www.testpage.com/pub,URL的相对地址为test.html,那么两者将合并成http://www.testpage.com/test.html,而非http://www.testpage.com/pub/test.html。如果希望在该路径中保留末端目录,应确保URL基地址以字符/结尾。

  下面是上面几个函数的详细一点的用法举例:

 

Python代码  收藏代码
  1. import urlparse  
  2.   
  3.   URLscheme = "http"  
  4.   
  5.   URLlocation = "www.python.org"  
  6.   
  7.   URLpath = "lib/module-urlparse.html"  
  8.   
  9.   modList = ("urllib""urllib2", \  
  10.   
  11.   "httplib""cgilib")  
  12.   
  13.   #将地址解析成组件  
  14.   
  15.   print "用Google搜索python时地址栏中URL的解析结果"  
  16.   
  17.   parsedTuple = urlparse.urlparse(  
  18.   
  19.   "http://www.google.com/search?  
  20.   
  21.   hl=en&q=python&btnG=Google+Search")  
  22.   
  23.   print parsedTuple  
  24.   
  25.   #将组件反解析成URL  
  26.   
  27.   print "\反解析python文档页面的URL"  
  28.   
  29.   unparsedURL = urlparse.urlunparse( \  
  30.   
  31.   (URLscheme, URLlocation, URLpath, ''''''))  
  32.   
  33.   print "\t" + unparsedURL  
  34.   
  35.   #将路径和新文件组成一个新的URL  
  36.   
  37.   print "\n利用拼接方式添加更多python文档页面的URL"  
  38.   
  39.   for mod in modList:  
  40.   
  41.   newURL = urlparse.urljoin(unparsedURL, \  
  42.   
  43.   "module-%s.html" % (mod))  
  44.   
  45.   print "\t" + newURL  
  46.   
  47.   #通过为路径添加一个子路径来组成一个新的URL  
  48.   
  49.   print "\n通过拼接子路径来生成Python文档页面的URL"  
  50.   
  51.   newURL = urlparse.urljoin(unparsedURL,  
  52.   
  53.   "module-urllib2/request-objects.html")  
  54.   
  55.   print "\t" + newURL  

  上述代码的执行结果如下所示:

  用Google搜索python时地址栏中URL的解析结果

 

Python代码  收藏代码
  1. ('http''www.google.com''/search''',  
  2.   
  3.  'hl=en&q=python&btnG=Google+Search''')  
  4.   
  5.  反解析python文档页面的URL  
  6.   
  7.  http://www.python.org/lib/module-urlparse.html  
  8.   
  9.  利用拼接方式添加更多python文档页面的URL  
  10.   
  11.  http://www.python.org/lib/module-urllib.html  
  12.   
  13.  http://www.python.org/lib/module-urllib2.html  
  14.   
  15.  http://www.python.org/lib/module-httplib.html  
  16.   
  17.  http://www.python.org/lib/module-cgilib.html  
  18.   
  19.  通过拼接子路径来生成Python文档页面的URL  
  20.   
  21.  http://www.python.org/lib/module-urllib2/request-objects.html  

 

   二、打开HTML文档

  上面介绍了如何解析页面的URL,现在开始讲解如何通过URL打开一个网页。实际上,Python所带的urllib和urllib2这两个模块为我们提供了从URL打开并获取数据的功能,当然,这包括HTML文档。

 

Python代码  收藏代码
  1. import urllib  
  2.   
  3.  u = urllib.urlopen(webURL)  
  4.   
  5.  u = urllib.urlopen(localURL)  
  6.   
  7.  buffer = u.read()  
  8.   
  9.  print u.info()  
  10.   
  11.  print "从%s读取了%d 字节数据.\n" % (u.geturl(),len(buffer) )  

  若要通过urllib模块中的urlopen(url [,data])函数打开一个HTML文档,必须提供该文档的URL地址,包括文件名。函数urlopen不仅可以打开位于远程web服务器上的文件,而且可以打开一个本地文件,并返回一个类似文件的对象,我们可以通过该对象从HTML文档中读出数据。

 

  一旦打开了HTML文档,我们就可以像使用常规文件一样使用read([nbytes])、readline()和readlines()函数来对文件进行读操作。若要读取整个HTML文档的内容的话,您可以使用read()函数,该函数将文件内容作为字符串返回。

  打开一个地址之后,您可以使用geturl()函数取得被获取网页的真正的URL。这是很有用的,因为urlopen(或使用的opener对象)也许会伴随一个重定向。获取的网页URL也许和要求的网页URL不一样。

  另一个常用的函数是位于从urlopen返回的类文件对象中的info()函数,这个函数可以返回URL位置有关的元数据,比如内容长度、内容类型,等等。下面通过一个较为详细的例子来对这些函数进行说明。

 

Python代码  收藏代码
  1. import urllib  
  2.   
  3.   webURL = "http://www.python.org"  
  4.   
  5.   localURL = "index.html"  
  6.   
  7.   #通过URL打开远程页面  
  8.   
  9.   u = urllib.urlopen(webURL)  
  10.   
  11.   buffer = u.read()  
  12.   
  13.   print u.info()  
  14.   
  15.   print "从%s读取了%d 字节数据.\n" % (u.geturl(),len(buffer) )  
  16.   
  17.   #通过URL打开本地页面  
  18.   
  19.   u = urllib.urlopen(localURL)  
  20.   
  21.   buffer = u.read()  
  22.   
  23.   print u.info()  
  24.   
  25.   print "从%s读取了%d 字节数据.\n" % (u.geturl(),len(buffer) )  

  上面代码的运行结果如下所示:

 

Python代码  收藏代码
  1. Date: Fri, 26 Jun 2009 10:22:11 GMT  
  2.   
  3.  Server: Apache/2.2.9 (Debian) DAV/2 SVN/1.5.1 mod_ssl/2.2.9 OpenSSL/0.9.8g mod_wsgi/2.3 Python/2.5.2  
  4.   
  5.  Last-Modified: Thu, 25 Jun 2009 09:44:54 GMT  
  6.   
  7.  ETag: "105800d-46e7-46d29136f7180"  
  8.   
  9.  Accept-Ranges: bytes  
  10.   
  11.  Content-Length: 18151  
  12.   
  13.  Connection: close  
  14.   
  15.  Content-Type: text/html  
  16.   
  17.  从http://www.python.org读取了18151 字节数据.  
  18.   
  19.  Content-Type: text/html  
  20.   
  21.  Content-Length: 865  
  22.   
  23.  Last-modified: Fri, 26 Jun 2009 10:16:10 GMT  
  24.   
  25.  从index.html读取了865 字节数据.  
 三、小结

  对搜索引擎、文件索引、文档转换、数据检索、站点备份或迁移等应用程序来说,经常用到对网页(即HTML文件)的解析处理。事实上,通过Python语言提供的各种模块,我们无需借助Web服务器或者Web浏览器就能够解析和处理HTML文档。本文中,我们介绍了一个可以帮助简化打开位于本地和Web上的HTML文档的Python模块。在下篇中,我们将论述如何使用Python模块来迅速解析在HTML文件中的数据,从而处理特定的内容,如链接、图像和Cookie等。

相关文章推荐

Python写爬虫——抓取网页并解析HTML

转自:http://www.lovelucy.info/python-crawl-pages.html CUHK上学期有门课叫做Semantic Web,课程project是要搜集整个系里面的教...
  • zhaoyl03
  • zhaoyl03
  • 2013年03月03日 20:50
  • 27238

利用Python抓取和解析网页

这是我写爬虫的时候搜到的一篇比较不错的文章 讲的还是比较详细 虽然代码有部分缩进错误 稍微修改下就可以有很好的效果了 于是我就脸皮厚的贴了过来 收藏吧算是 对搜索引擎、文件索引、文档...

利用Python抓取和解析网页(2)

利用Python抓取和解析网页(二)(2) 中国互联网络资讯网提示: 对搜索引擎、文件索引、文档转换、数据检索、站点备份或迁移等应用程序来说,经常用到对网页(即HTML文件)的解析处理。事 ...

利用Python抓取和解析网页(下)

转载自:http://tech.it168.com/a2009/0707/601/000000601879_1.shtml 二、从HTML文档中提取图像   处理HTML文档的时候,我们常...

利用Python抓取和解析网页(二)

WebjxCom提示: 对搜索引擎、文件索引、文档转换、数据检索、站点备份或迁移等应用程序来说,经常用到对网页(即HTML文件)的解析处理。事实上,通过Python语言提供的各种模块,我们无需借助We...

利用Python抓取和解析网页(一)

对搜索引擎、文件索引、文档转换、数据检索、站点备份或迁移等应用程序来说,经常用到对网页(即HTML文件)的解析处理。事实上,通过Python语言提供的各种模块,我们无需借助Web服务器或者Web浏览器...

利用Python抓取和解析网页(3)

利用Python抓取和解析网页(二)(3) 中国互联网络资讯网提示: 对搜索引擎、文件索引、文档转换、数据检索、站点备份或迁移等应用程序来说,经常用到对网页(即HTML文件)的解...

利用Python抓取和解析网页 .

对搜索引擎、文件索引、文档转换、数据检索、站点备份或迁移等应用程序来说,经常用到对网页(即HTML文件)的解析处理。事实上,通过Python语言提供的各种模块,我们无需借助Web服务器或者Web浏览器...

利用Python抓取和解析网页(4)

利用Python抓取和解析网页(二)(4) 中国互联网络资讯网提示: 对搜索引擎、文件索引、文档转换、数据检索、站点备份或迁移等应用程序来说,经常用到对网页(即HTML文件)的解析处理。事 ...

利用Python抓取和解析网页(5)

利用Python抓取和解析网页(二)(5) 中国互联网络资讯网提示: 对搜索引擎、文件索引、文档转换、数据检索、站点备份或迁移等应用程序来说,经常用到对网页(即HTML文件)的解析处理。事 ...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:利用Python抓取和解析网页
举报原因:
原因补充:

(最多只允许输入30个字)