python爬虫训练11：正则表达式，bs4，xpath抓取网站数据对比

无论哪种，先看源代码：

本次对比是分别抓取排行榜书名，作者和简介。
正则表达式：
正则表达式其实是最简单的，熟练的话可以快速爬去信息。

import requests
from fake_useragent import UserAgent
import re

url = "http://www.zongheng.com/rank/details.html?rt=1&d=1"
headers= {'User-Agent':str(UserAgent().random)}
resp = requests.get(url, headers=headers)
page_content = resp.text
#print(page_content)
nei=re.compile(r'<div class="rank_d_book_img fl">.*?target="_blank">.*?alt=.*?target="_blank">(?P<name>.*?)</a>'
               r'.*?target="_blank">(?P<aut>.*?)</a>.*?<div class="rank_d_b_info">(?P<tell>.*?)</div>', re.S)# re.S: 让.能匹配换行符

result = nei.finditer(page_content)
j=1;
for i in result:
    print(j,i.group("name"),i.group("aut"),i.group("tell").replace("\n", ""))
    j+=1

bs4：
Beautiful Soup 将 HTML 文档转换成一个树形结构，该结构有利于快速地遍历和搜索 HTML 文档。find_all() 与 find() 是解析 HTML 文档的常用方法，它们可以在 HTML 文档中按照一定的条件（相当于过滤器）查找所需内容。在 BS4 中，通过标签名和标签属性可以提取出想要的内容。

import requests
from fake_useragent import UserAgent
from bs4 import BeautifulSoup


url = "http://www.zongheng.com/rank/details.html?rt=1&d=1"
headers= {'User-Agent':str(UserAgent().random)}
resp = requests.get(url, headers=headers)
page_content = resp.text

#bs4
# 解析数据
# 1. 把页面源代码交给BeautifulSoup进行处理, 生成bs对象
page = BeautifulSoup(resp.text, "html.parser")  # 指定html解析器

rank_main = page.find("div", attrs={"class": "rank_main"})  # 获取了排行榜的部分html代码
#获取书名：
name0=rank_main.find_all("div", attrs={"class": "rank_d_b_name"})
name=list()
for i in name0:
    na = i.find("a")
    name.append(na.text)
#获取作者名：
author=list()
autoher0=rank_main.find_all("div", attrs={"class": "rank_d_b_cate"})
for i in autoher0:
    au = i.find("a")
    author.append(au.text)
#获取简介
tell0=rank_main.find_all("div", attrs={"class": "rank_d_b_info"})
tell=list()
for i in tell0:
    tell.append(i.text.replace("\n", ""))

for i in range(0,len(name)):
    print(i+1,name[i],author[i],tell[i].replace("\n", ""),"\n")
resp.close()

xpath：
XPath 的选择功能十分强大，它提供了非常简洁明了的路径选择表达式，另外它还提供了超过 100 个内建函数用于字符串、数值、时间的匹配以及节点、序列的处理等等，几乎所有我们想要定位的节点都可以用XPath来选择。
本次代码设计的知识点是：
body//div代表body节点下的所有div；
div[@class=“rank_d_b_name”]专门注明选取那个div；
text()为当前节点中的文本内容；
a[1] 第一个a；

import requests
from fake_useragent import UserAgent
from lxml import etree

url = "http://www.zongheng.com/rank/details.html?rt=1&d=1"
headers= {'User-Agent':str(UserAgent().random)}
resp = requests.get(url, headers=headers)
page_content = resp.text
# 解析数据
tree = etree.HTML(page_content)
name = tree.xpath('/html/body//div[@class="rank_d_b_name"]/a/text()')
tell= tree.xpath('/html/body//div[@class="rank_d_b_info"]/text()')
author = tree.xpath('/html/body//div[@class="rank_d_b_cate"]/a[1]/text()')#取第一个
for i in range(0,len(name)):
    print(i+1,name[i],author[i],tell[i].replace("\n", ""),"\n")

resp.close()

输出都为：