php爬取百度搜索结果的链接,使用BeautifulSoup爬虫程序获取百度搜索结果的标题和url示例...

熟悉Java的jsoup包的话，对于Python的BeautifulSoup库应该很容易上手。

代码如下:

#coding: utf-8

import sys

import urllib

import urllib2

from BeautifulSoup import BeautifulSoup

question_word = "吃货 程序员"

url = "http://www.baidu.com/s?wd=" + urllib.quote(question_word.decode(sys.stdin.encoding).encode('gbk'))

htmlpage = urllib2.urlopen(url).read()

soup = BeautifulSoup(htmlpage)

print len(soup.findAll("table", {"class": "result"}))

for result_table in soup.findAll("table", {"class": "result"}):

a_click = result_table.find("a")

print "-----标题----\n" + a_click.renderContents()#标题

print "----链接----\n" + str(a_click.get("href"))#链接

print "----描述----\n" + result_table.find("div", {"class": "c-abstract"}).renderContents()#描述

print

本条技术文章来源于互联网，如果无意侵犯您的权益请点击此处反馈版权投诉

本文系统来源：php中文网