爬虫bs4与xpath

---

bs4

bs4为python的一个第三方库

安装

使用pip3下载： pip3 install bs4
导入方法：from bs4 import *
本次练习爬虫：from bs4 import BeautifulSoup

方法：

首先创建一个BeautifulSoup对象，参数一为页面源码数据，第二个参数为：“lxml”

soup = BeautifulSoup(page_txt,“Lxml”)
soup.a 返回页面源码中第一个a标签中的数据
soup.find(“a”) 也是返回页面源码中第一个a标签中的数据
还可以根据属性值来返回如：
soup.find(“div”,class_=“shuxing”) 返回div的class属性为shuxing的标签数据
soup.find_all(“a”) 返回页面源码中所有的数据，返回形式为列表
soup.select(".tang") 返回属性为tang标签的数据
soup.select(".tang > ul > li > a")返回tang属性标签下的ul标签下的li标签下的a标签下的数据，返回形式为列表

返回文本：

soup.select(".tang > ul > a")[0].text/get_text()/string 多个层级可以用空格代替，string只能返回直系子标签的文本

返回属性值：

soup.select(".tang > ul > a")[0][“href”] 返回a标签的href属性

测试：

如同所示：div属性为list下的ul标签下的li标签下的a标签下的第五个img标签中的src属性为图片地址
则为：soup.select(".list > ul > li > a > img")[5][“src”]

代码如下：

from bs4 import BeautifulSoup
import requests

def main():
    url = "http://www.netbian.com/s