python 搜索功能_python实现一个简单的爬虫搜索功能

html.parser HTMLParser

urllib.request urlopen

urllib parse

LinkParser(HTMLParser):

handle_starttag(, tag, attrs):

tag == :

(key, value) attrs:

key == :

newUrl = parse.urljoin(.baseUrl, value)

.links = .links + [newUrl]

getLinks(, url):

.links = []

.baseUrl = url

response = urlopen(url)

response.getheader()==:

htmlBytes = response.read()

htmlString = htmlBytes.decode()

.feed(htmlString)

htmlString, .links

:

,[]

spider(url, word, maxPages):

pagesToVisit = [url]

numberVisited = foundWord = numberVisited 

numberVisited = numberVisited +url = pagesToVisit[]

pagesToVisit = pagesToVisit[:]

:

(numberVisited, , url)

parser = LinkParser()

data, links = parser.getLinks(url)

pagesToVisit = pagesToVisit + links

data.find(word)>-:

foundWord = pagesToVisit = pagesToVisit + links

()

:

()

foundWord:

(, word, , url)

:

()

spider(,,)

原文：http://my.oschina.net/u/215677/blog/523343