Xml-Schema-Jsoup（爬虫）-Xpath

最新推荐文章于 2021-06-18 19:15:30 发布

张施文

最新推荐文章于 2021-06-18 19:15:30 发布

阅读量1.3k

点赞数

分类专栏： javaweb 文章标签： xml schema Jsoup xpath

本文链接：https://blog.csdn.net/qq_41344974/article/details/105318488

版权

javaweb 专栏收录该内容

17 篇文章 0 订阅

订阅专栏

XML

概念：Extensible Markup Language 可扩展标记语言
- 可扩展：标签都是自定义的。 <user> <student>抢properties的饭碗
- 功能
  - 存储数据
    1. 配置文件
    2. 在网络中传输
- xml与html的区别
  1. xml标签都是自定义的，html标签是预定义。
  2. xml的语法严格，html语法松散
  3. xml是存储数据的，html是展示数据
- w3c:万维网联盟
语法：
- 基本语法：
  1. xml文档的后缀名 .xml
  2. xml第一行必须定义为文档声明
  3. xml文档中有且仅有一个根标签
  4. 属性值必须使用引号(单双都可)引起来
  5. 标签必须正确关闭
  6. xml标签名称区分大小写

		<?xml version='1.0' ?>
		<users>
			<user id='1'>
				<name>zhangsan</name>
				<age>23</age>
				<gender>male</gender>
				<br/>
			</user>
			
			<user id='2'>
				<name>lisi</name>
				<age>24</age>
				<gender>female</gender>
			</user>
		</users>

* 组成部分：
	1. 文档声明
		1. 格式：<?xml 属性列表 ?>
		2. 属性列表：
			* version：版本号，必须的属性
			* encoding：编码方式。告知解析引擎当前文档使用的字符集，默认值：ISO-8859-1
			* standalone：是否独立
				* 取值：
					* yes：不依赖其他文件
					* no：依赖其他文件
	2. 指令(了解)：结合css的
		* <?xml-stylesheet type="text/css" href="a.css" ?>
	3. 标签：标签名称自定义的
		* 规则：
			* 名称可以包含字母、数字以及其他的字符 
			* 名称不能以数字或者标点符号开始 
			* 名称不能以字母 xml（或者 XML、Xml 等等）开始 
			* 名称不能包含空格 

	4. 属性：
		id属性值唯一
	5. 文本：
		* CDATA区：在该区域中的数据会被原样展示
			* 格式：  <![CDATA[ 数据 ]]>
* 约束：规定xml文档的书写规则
	* 作为框架的使用者(程序员)：
		1. 能够在xml中引入约束文档
		2. 能够简单的读懂约束文档
	
	* 分类：
		1. DTD:一种简单的约束技术
		2. Schema:一种复杂的约束技术

	* DTD：
		* 引入dtd文档到xml文档中
			* 内部dtd：将约束规则定义在xml文档中
			* 外部dtd：将约束的规则定义在外部的dtd文件中
				* 本地：<!DOCTYPE 根标签名 SYSTEM "dtd文件的位置">
				* 网络：<!DOCTYPE 根标签名 PUBLIC "dtd文件名字" "dtd文件的位置URL">
	* Schema:
		* 引入：
			1.填写xml文档的根元素
			2.引入xsi前缀.  xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
			3.引入xsd文件命名空间.  xsi:schemaLocation="http://www.itcast.cn/xml  student.xsd"
			4.为每一个xsd约束声明一个前缀,作为标识  xmlns="http://www.itcast.cn/xml"

<students   xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
				xmlns="http://www.itcast.cn/xml"
				xsi:schemaLocation="http://www.itcast.cn/xml  student.xsd">

解析：操作xml文档，将文档中的数据读取到内存中
- 操作xml文档
  1. 解析(读取)：将文档中的数据读取到内存中
  2. 写入：将内存中的数据保存到xml文档中。持久化的存储
- 解析xml的方式：
  1. DOM：将标记语言文档一次性加载进内存，在内存中形成一颗dom树
    - 优点：操作方便，可以对文档进行CRUD的所有操作
    - 缺点：占内存
  2. SAX：逐行读取，基于事件驱动的。
    - 优点：不占内存。
    - 缺点：只能读取，不能增删改
- xml常见的解析器：
  1. JAXP：sun公司提供的解析器，支持dom和sax两种思想
  2. DOM4J：一款非常优秀的解析器
  3. Jsoup：jsoup 是一款Java 的HTML解析器，可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API，可通过DOM，CSS以及类似于jQuery的操作方法来取出和操作数据。（爬虫）
  4. PULL：Android操作系统内置的解析器，sax方式的。
- Jsoup：jsoup 是一款Java 的HTML解析器，可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API，可通过DOM，CSS以及类似于jQuery的操作方法来取出和操作数据。
  - 快速入门：
    - 步骤：
      1. 导入jar包
      2. 获取Document对象
      3. 获取对应的标签Element对象
      4. 获取数据
- 对象的使用：
  1. Jsoup：工具类，可以解析html或xml文档，返回Document
    - parse：解析html或xml文档，返回Document
      - parse(File in, String charsetName)：解析xml或html文件的。
      - parse(String html)：解析xml或html字符串
      - parse(URL url, int timeoutMillis)：通过网络路径获取指定的html或xml的文档对象
  2. Document：文档对象。代表内存中的dom树
    - 获取Element对象
      - getElementById(String id)：根据id属性值获取唯一的element对象
      - getElementsByTag(String tagName)：根据标签名称获取元素对象集合
      - getElementsByAttribute(String key)：根据属性名称获取元素对象集合
      - getElementsByAttributeValue(String key, String value)：根据对应的属性名和属性值获取元素对象集合
  3. Elements：元素Element对象的集合。可以当做 ArrayList<Element>来使用
  4. Element：元素对象
    1. 获取子元素对象
      - getElementById(String id)：根据id属性值获取唯一的element对象
      - getElementsByTag(String tagName)：根据标签名称获取元素对象集合
      - getElementsByAttribute(String key)：根据属性名称获取元素对象集合
      - getElementsByAttributeValue(String key, String value)：根据对应的属性名和属性值获取元素对象集合
    2. 获取属性值
      - String attr(String key)：根据属性名称获取属性值
    3. 获取文本内容
      - String text():获取文本内容
      - String html():获取标签体的所有内容(包括字标签的字符串内容)
  5. Node：节点对象
    - 是Document和Element的父类
- 快捷查询方式：
  1. selector:选择器
    - 使用的方法：Elements select(String cssQuery)
      - 语法：参考Selector类中定义的语法
  2. XPath：XPath即为XML路径语言，它是一种用来确定XML（标准通用标记语言的子集）文档中某部分位置的语言
    - 使用Jsoup的Xpath需要额外导入jar包。
    - 查询w3cshool参考手册，使用xpath的语法完成查询

import cn.wanghaomiao.xpath.exception.XpathSyntaxErrorException;
import cn.wanghaomiao.xpath.model.JXDocument;
import cn.wanghaomiao.xpath.model.JXNode;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.select.Elements;

import java.io.File;
import java.io.IOException;
import java.util.List;

/**
 *XPath查询
 */
public class JsoupDemo6 {
    public static void main(String[] args) throws IOException, XpathSyntaxErrorException {
        //1.获取student.xml的path
        String path = JsoupDemo6.class.getClassLoader().getResource("student.xml").getPath();
        //2.获取Document对象
        Document document = Jsoup.parse(new File(path), "utf-8");

        //3.根据document对象，创建JXDocument对象
        JXDocument jxDocument = new JXDocument(document);

        //4.结合xpath语法查询
        //4.1查询所有student标签
        List<JXNode> jxNodes = jxDocument.selN("//student");
        for (JXNode jxNode : jxNodes) {
            System.out.println(jxNode);
        }

        System.out.println("--------------------");

        //4.2查询所有student标签下的name标签
        List<JXNode> jxNodes2 = jxDocument.selN("//student/name");
        for (JXNode jxNode : jxNodes2) {
            System.out.println(jxNode);
        }

        System.out.println("--------------------");

        //4.3查询student标签下带有id属性的name标签
        List<JXNode> jxNodes3 = jxDocument.selN("//student/name[@id]");
        for (JXNode jxNode : jxNodes3) {
            System.out.println(jxNode);
        }
        System.out.println("--------------------");
        //4.4查询student标签下带有id属性的name标签 并且id属性值为itcast

        List<JXNode> jxNodes4 = jxDocument.selN("//student/name[@id='itcast']");
        for (JXNode jxNode : jxNodes4) {
            System.out.println(jxNode);
        }
    }

}