BeautifulSoup模块的简单使用

可以通过dir(BeautifulSoup.BeautifulSoup)查看其有什么函数,如果想知道某个函数的含义可以使用help(BeautifulSoup.BeautifulSoup.find)来查看其官方文档。

可以使用pprint来整输出,使用dir和help之前一定要import BeautifulSoup。


# -*- coding:utf8 -*-
import urllib
import urllib2
import BeautifulSoup
import re
 
htmlSource = urllib.urlopen("http://www.taobao.com/").read(200000)
soup = BeautifulSoup.BeautifulSoup(htmlSource)

#输出<head>...</head>
print soup.head

#输出<title>...</title>
print soup.head.title

#会返回一个列表,每个列表元素都是<a>...</a> 
tags = soup.findAll('a')
print tags

print '京东放养的爬虫'

#取<a></a>中间包含的元素,如果有href则输出
for item in soup.fetch('a',href=True):
    print item['href']
    
#找到所有的<a></a>,如果其中href元素中含有taobao则输出
for a in soup.findAll('a',href=True):
    if re.findall('taobao', a['href']):
        print "Found the URL:", a['href']
        
#输出<div></div>中间class属性等于J_Tanx mod,只输出第一个
print str(soup.find("div",{"class":"J_Tanx mod"}))




  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值