数据的解析的介绍（1）————xpath和beautifulsoup

1.xpath

注意：提前安装xpath插件
（1）打开chrome浏览器
（2）点击右上角小圆点
（3）更多工具
（4）扩展程序
（5）拖拽xpath插件到扩展程序中
（6）如果crx文件失效，需要将后缀修改zip
（7）再次拖拽
（8）关闭浏览器重新打开
（9）ctrl + shift + x
（10）出现小黑框

出现这个表示已经安装好了

xpath基本语法：

1.路径查询 //：查找所有子孙节点，不考虑层级关系 / ：找直接子节点
2.谓词查询 //div[@id] //div[@id=“maincontent”]
3.属性查询 //@class
4.模糊查询 //div[contains(@id, “he”)] //div[starts‐with(@id, “he”)]
5.内容查询 //div/h1/text() 6.逻辑运算 //div[@id=“head” and @class=“s_down”] //title | //price

1.安装lxml库
pip install lxml ‐i https://pypi.douban.com/simple
2.导入lxml.etree
from lxml import etree
3.etree.parse()
解析本地文件 html_tree = etree.parse(‘XX.html’)
4.etree.HTML() 服务器响应文件
html_tree = etree.HTML(response.read().decode(‘utf‐8’)
5.html_tree.xpath(xpath路径)

小型代码案例演示：

import urllib.request
from lxml import etree
import ssl
ssl._create_default_https_context = ssl._create_unverified_context

def create_request(page):
    if (page == 1):
        url = 'https://sc.chinaz.com/tupian/qinglvtupian.html'
    else:
        url = 'https://sc.chinaz.com/tupian/qinglvtupian_' + str(page) + '.html'

    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.159 Safari/537.36',
    }
    request = urllib.request.Request(url=url,headers=headers)
    return request

def get_content(request):
    response = urllib.request.urlopen(request)
    content = response.read().decode('utf-8')#将从网站上读取到的网站源代码编译为utf-8的格式。
    return content

def down_load(content):
    #下载图片
    #urllib.request.urlretrieve("图片地址",'文件的名字')#
    #解析服务器相应文件使用的HTML。解析本地文件使用的parse。
    #tree = etree.parse()
    tree = etree.HTML(content)

    name_list = tree.xpath('//div[@class="container"]//div/img/@alt')
    #//div[@class="container"]//div/img/@src
    # 一般设计图片的网站都会进行懒加载
    src_list = tree.xpath('//div[@class="container"]//div/img/@data-original')
    for i in range(len(name_list)):
        name = name_list[i]
        src = src_list[i]
        url = 'http:' + src

        urllib.request.urlretrieve(url=url,filename=name+'.jpg')

if __name__ == '__main__':
    #start_page =
    #end_page =
    start_page = 1
    end_page = 3
    for page in range(start_page,end_page+1):
        #请求对象的定制
        request = create_request(page)
        #获取网页的源码
        content = get_content(request)
        #下载
        down_load(content)
    print('结束运行')

2.BeautifulSoup

1.BeautifulSoup简称： bs4
2.什么是BeatifulSoup？ BeautifulSoup，和lxml一样，是一个html的解析器，主要功能也是解析和提取数据
3.优缺点。缺点：效率没有lxml的效率高 优点：接口设计人性化，使用方便
注意：默认打开文件的编码格式gbk所以需要指定打开编码格式

3.JsonPath