python beautifulsoup select_python爬虫：BeautifulSoup 使用select方法详解

1 html = """

2

The Dormouse's story

3

4 The Dormouse's story

5 Once upon a time there were three little sisters; and their names were

6 ,

7 Lacie and

8 Tillie;

9 and they lived at the bottom of a well.

10 ...

11 """

我们在写 CSS 时，标签名不加任何修饰，类名前加点，id名前加 #，在这里我们也可以利用类似的方法来筛选元素，用到的方法是 soup.select()，返回类型是 list

(1)通过标签名查找

print soup.select('title')

#[

The Dormouse's story]

print soup.select('a')

#[, Lacie, Tillie]

print soup.select('b')

#[The Dormouse's story]

(2)通过类名查找

print soup.select('.sister')

#[, Lacie, Tillie]

(3)通过 id 名查找

print soup.select('#link1')

#[]

(4)组合查找

组合查找即和写 class 文件时，标签名与类名、id名进行的组合原理是一样的，例如查找 p 标签中，id 等于 link1的内容，二者需要用空格分开

print soup.select('p #link1')

#[]

直接子标签查找

print soup.select("head > title")

#[

The Dormouse's story]

(5)属性查找

查找时还可以加入属性元素，属性需要用中括号括起来，注意属性和标签属于同一节点，所以中间不能加空格，否则会无法匹配到。

print soup.select("head > title")

#[

The Dormouse's story]

print soup.select('a[href="http://example.com/elsie"]')

#[]

同样，属性仍然可以与上述查找方式组合，不在同一节点的空格隔开，同一节点的不加空格

print soup.select('p a[href="http://example.com/elsie"]')

#[]