03、爬虫数据解析-bs4解析/xpath解析

一、bs4解析

使用bs4解析，需要了解一些html的知识，了解其中一些标签。

安装：pip install bs4

导入：from bs4 import BeautifulSoup

1、使用方式

1、把页面源代码交给BeautifulSoup进行处理，生成bs对象

2、从bs对象中查找数据

（1）find(标签，属性=值)：找第一个

（2）findall(标签，属性=值)：找全部的

2、实战：拿到上海菜价网蔬菜价格

1、思路

（1）拿到源代码

（2）使用bs4进行解析，拿到数据

2、演示

from bs4 import BeautifulSoup
import requests
import csv

#拿到数据
url = "http://www.shveg.com/cn/info/list.asp?ID=959"

reps = requests.post(url)
reps.encoding="gb2312"
f = open("菜价.csv",mode="w",encoding="utf-8")
csvwriter = csv.writer(f)

#解析数据
#1、把页面源代码交给BeautifulSoup进行处理，生成bs对象。
#2、从bs对象中查找数据
page = BeautifulSoup(reps.text,"html.parser")#html.parser指定html解析
table = page.find("td", attrs={"class":"intro_font"})
trs = table.find_all("tr")[1:]
for tr in trs:
    tds = tr.find_all("td")
    name = tds[0].text
    csvwriter.writerow(name)
print("over")
reps.close()

3、实战：抓取优美图库图片

（1）需求：拿到优美图库图片的下载地址

（2）思路

a.拿到主页面的源代码，然后提取到子页面的链接地址，href

b.通过href拿到子页面的内容，从子页面找到图片的下载地址，src属性

c.下载图片

import requests
from bs4 import BeautifulSoup


url = "https://www.umei.cc/bizhitupian/weimeibizhi/"
resp = requests.get(url)
resp.encoding="utf-8"


main_page = BeautifulSoup(resp.text,"html.parser")
alist = main_page.find("div",attrs={"class":"item_list infinite_scroll"}).find_all("a")
for a in alist:
    href = "https://www.umei.cc/"+a.get('href')
    child_page_resp = requests.get(href)
    child_page_resp.encoding="utf-8"
    child_main_page = BeautifulSoup(child_page_resp.text,"html.parser")
    img = child_main_page.find("div",attrs={"class":"big-pic"}).find("img")
    src = img.get("src")

    #下载图片
    img_resp = requests.get(src)
    # img_resp.content   #这里拿到的是字节
    img_name = src.split("/")[-1] #拿到url中的最后一个/以后的内容
    with open(img_name,mode="wb") as f:
        f.write(img_resp.content) #图片的内容写入文件
    print("over")
resp.close()
child_page_resp.close()

二、xpath解析

安装：pip install lxml

导入：from lxml import etree

1、使用方式

tree = etree.parse(html文件)

result = tree.xpath("xpath语法")

2、实战：拿到中国食品网的新闻信息

from lxml import etree
import requests

url = "http://food.china.com.cn/node_8003189.htm"
resp = requests.get(url)

#解析
tree = etree.HTML(resp.text)
divs = tree.xpath('/html/body/div[2]/div[3]/div[1]/div[2]/div[@class="d3_back_list"]')

for div in divs:
    title = div.xpath("./p/a/text()")
    summary = div.xpath("./span/text()")
    time = div.xpath("./b/text()")
    print(title)
    print(summary)
    print(time)
resp.close()