Python网络数据采集(2)——复杂HTML解析(1)

一、关于两个重要的函数find(),findAll()的总结
  用途:通过find和findAll过滤HTML页面,查找需要的标签或者标签组
  函数构造:
    findAll(tag, attributes, recursive, text, limit, keywords)
    find(tag, attributes, recursive, text, keywords)
  其中:
    tag是标签参数,可以传一个标签或多个标签组成的标签列表
    attributes是python封装的一个标签的若干属性和对应的属性值

    findAll({"h1", "h2", "h3", "h4"})
    findAll("span", {"class": {"green", "red"}}) 
    #寻找所有class为green和red的span标签

    recursive是一个布尔变量,为true时查找标签参数的所有自标签、为false时只查找文档的一级标签。默认情况下是true
    text是文本参数,用标签的文本内容去匹配。
    nameList = bsObj.findAll(text="something")
    limit是范围限制参数,之应用在find函数中。find相当于findAll在limit=1时的情形,limit=x就表示只要求获取前x项结果
    keyword是关键词参数,可以选择那些具有指定属性的标签

    allText = bsObj.findAll(id="text")
    print((allText[0]).get_text())

  .get_text()会把你正在处理的HTML文档中的所有标签都清除,然后只返回一个只包含文字的字符串。如果你正在处理一个包含许多超链接、段落以及标签的大段源代码,那么get_text()会把这些超链接、段落、以及标签全都清除,剩下不带标签的文字。
  通常在你准备打印,存储以及操作数据时,应该在最后再使用.get_text()去提取你想要的文本信息,在一般的情况下,应该尽可能的保留HTML文档的标签的结构。

二、BeautifulSoup的其他对象
BeautifulSoup对象:前面代码示例中的bsObj对象
标签Tag对象:BeautifulSoup对象通过find和findAll,胡哦这直接调用自标签获取的一列对象或单个对象,就像:bsObj.div.h1。
NavigableString对象:表示标签里的文字(不是标签)
Comment对象:用来查找HTML文档的注释标签,如<!–something–>

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值