Python网页抓取：获取页面中某段内容的xpath

     在批量抓取网页内容时，我经常采用的做法是：1、得到目标内容在网页中的位置，即xpath路径；2、批量下载网页，然后利用xpath，取出每个网页中所需要的内容。

     在这里，我们利用python模块lxml。

     以谷歌翻译为例，我要批量抓取翻译内容，那么首先我要知道译文的xpath，代码如下：

     import urllib,urllib2 import lxml import lxml.html as HTML import lxml.etree as etree #设置url参数 lin = 'en' lout = 'zh-CN' text = 'my apple 123' values = {'hl':'zh-CN', 'ie':'UTF-8', 'text':text, 'sl':lin, 'tl':lout} url = 'http://translate.google.cn/translate_t' data = urllib.urlencode(values) req = urllib2.Request(url, data) req.add_header('User-Agent', "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 2.0.50727)") response = urllib2.urlopen(req, timeout = 10) shtml = response.read() response.close() hdoc =