python pyquery 进行html解析

在使用python进行网页解析的时候,利用好一些第三方开源框架能够有效快速的对网页进行解析,提取去我们所需要的信息
python本身自带的htmlparser 太过笨重,在解析中有诸多不便,在这利用pyquery 进行html 进行解析

from pyquery import PyQuery as pq
import urllib,urllib2
import json
url = 'http://zhan.renren.com/tag?value=gif&json=true&type=&page=1'
data = urllib2.urlopen(url)
html = json.load(data)["posts"]
d = pq(html)
items = d("article")#获取article标签
itemCount = items.length#所有含article标签的个数
print 'article.length: ' + str(items.length)
for i in xrange(0, itemCount):
    #print d(items[i]).html()
    item = d(items[i])
    auther = item.find('.post-site-user .name-card').text()#对于层级关系可以使用 find('.XXX + 空格 +标签')层层递进下去
    print str(i) + ". auther:" + auther
    pn = item.find('.hot-num').parent().prev().text()#父节点/兄弟节点
    print pn
    title = item.find('.feed-title').text()#获取 所有'feed-title' 的内容 
    print str(i) + ". title:" + title
    gifUrl = item.find('.hot-view img').attr("src")#获取src属性值
    print str(i) + ". gifurl:" + gifUrl
    tags = item.find('.feed-topic a')
    for j in xrange(0, tags.length):
        print str(i) + "." + str(j) + "   tag:" + d(tags[j]).text()#对于列表等数据提取同样可以使用pq解析