2021_12_06 自学笔记_JsonPath解析和bs4解析

* coding : utf-8 *

@Time : 2021/12/6 16:59

@Author : Harken

安装指令以及国内源

进入到自己安装python的文件夹，库一般在Scripts里

cd d: cd Python cd Scripts

pip install xxx -i https://pypi.douban.com/simple

jsonpath安装

pip安装：pip install jsonpath

jsonpath的使用：

obj = json.load(open(‘json文件’，‘r’,encoding = ‘utf-8’

ret = jsonpath.jsonpath(obj,‘jsonpath语法’)

教程链接：http://blog.csdn.net/luxideyao/article/details/77802389

BeautifulSoup–bs4

和lxml一样，是一个html的解析器，主要功能也是解析和提取数据

缺点：效率没有lxml的效率高

优点：接口设计人性化，使用方便

bs4 安装以及创建

1.安装：pip install bs4

2.导入：from bs4 import BeautifulSoup

3.创建对象

服务器响应的文件生成对象

soup = BeautifulSoup(response.read().decode(),‘lxml’)

本地文件生成对象

soup = BeautifulSoup(open(‘1.html’,‘lxml’)

注意：默认打开文件的编码格式gbk，所以需要指定打开编码格式 encoding=‘utf-8’

获取标签的属性和属性值

soup.a.attrs

bs4的的一些函数

1.find

返回的是第一个复合条件的数据

print(soup.fina(‘a’))

根据title的值来找到对应的标签对象

print(soup.fina(‘a’,title=“a2”))

根据class的值来找到对应的标签对象,注意class需要添加下划线

print(soup.fina(‘a’,class_=“a1”))

2.find_all

返回的是一个列表，并且返回所有标签

print(soup.fina_all(‘a’))

如果想获取多个标签数据，需要在find_all的参数中添加的是列表的数据

print(soup.fina([‘a’,‘span’]))

limit的作用是查找前介个数据

print(soup.fina_all(‘li’,limit=2))

#3.select

返回的是一个列表，冰返回多个数据

print(soup.select(‘a’))

可以通过.代表class，这种操作叫做类选择器

print(soup.select(’.a1’))

#id

属性选择器

层级选择器