python爬虫常用库有哪些_Python爬虫常用库介绍（requests、BeautifulSoup、lxml、json）...

The Dormouse's story

Once upon a time there were three little sisters; and their names were

,

Lacie and

Tillie;

and they lived at the bottom of a well.

...

"""

在写css时，标签名不加任何修饰，类名前加点，id名前加 #，我们可以用类似的方法来筛选元素，用到的方法是soup.select()，返回类型是list。

(1).通过标签名查找

print(soup.select('title')) #筛选所有为title的标签，并打印其标签属性和内容#[

The Dormouse's story]

print(soup.select('a')) #筛选所有为a的标签#[, Lacie, Tillie]

print(soup.select('b')) #筛选所有为b的标签，并打印#[The Dormouse's story]

(2).通过类名查找

print soup.select('.sister') #查找所有class为sister的标签，并打印其标签属性和内容#[, Lacie, Tillie]

(3).通过id名查找

print soup.select('#link1') #查找所有id为link1的标签，并打印其标签属性和内容#[]

(4).组合查找

组合查找即和写class文件时，标签名与类名、id名进行的组合原理是一样的，例如查找p标签中，id等于link1的内容，二者需要空格分开。

print soup.select('p #link1')#[]

直接子标签查找

print soup.select("head > title")#[

The Dormouse's story]

(5).属性查找

查找时还可以加入属性元素，属性需要用中括号括起来，注意属性和标签属于同一节点，所以中间不能加空格，否则会无法匹配到。

print soup.select("head > title")#[

The Dormouse's story]

print soup.select('a[href="http://example.com/elsie"]')#[]

属性仍然可以与上述查找方式组合，不在同一节点的空格隔开，同一节点的不加空格。

print soup.select('p a[href="http://example.com/elsie"]')#[]

BeautifulSoup库例句：

from bs4 importBeautifulSoupimportrequests

f= requests.get(url,headers=headers)

soup= BeautifulSoup(f.text,'lxml')for k in soup.find_all('div',class_='pl2'): #找到div并且class为pl2的标签

b = k.find_all('a') #在每个对应div标签下找a标签，会发现，一个a里面有四组span

n.append(b[0].get_text()) #取第一组的span中的字符串

3、lxml库

lxml 是 一个HTML/XML的解析器，主要的功能是如何解析和提取 HTML/XML 数据。

示例如下：

#使用 lxml 的 etree 库

from lxml importetree

text= '''

first item

second item

third item

fourth item

fifth item # 注意，此处缺少一个 闭合标签

'''

#利用etree.HTML，将字符串解析为HTML文档

html =etree.HTML(text)#按字符串序列化HTML文档

result =etree.tostring(html)print(result)

输出结果如下：

first item

second item

third item

fourth item

fifth item