python中实现网页解析_Python实现抓取网页并且解析的实例

本文以实例形式讲述了python实现抓取网页并解析的功能。主要解析问答与百度的首页。分享给大家供大家参考之用。

主要功能代码如下：

#!/usr/bin/python

#coding=utf-8

import sys

import re

import urllib2

from urllib import urlencode

from urllib import quote

import time

maxline = 2000

wenda = re.compile("href=\"http://wenda.so.com/q/.+\?src=(.+?)\"")

baidu = re.compile("更多知道相关问题.*?")

f1 = open("baidupage.txt","w")

f2 = open("wendapage.txt","w")

for line in sys.stdin:

if maxline == 0:

break

query = line.strip();

time.sleep(1);

recall_url = "http://www.so.com/s?&q=" + query;

response = urllib2.urlopen(recall_