python: Xpath 和正则 re 简介

格式化文件 XML,JSON

一、Xpath

1、Xpath开发工具

  • 开源的Xpath表达式编辑工具:XMLQuire
  • Chrome插件:Xpath Helper
  • Firefox插件:Xpath Checker

2、xml选取节点

  • nodename:选取此节点的所有子节点

  • /:从根节点开始选取

  • //:选取节点,不考虑位置

  • .:选取当前的节点

  • …:选取当前节点的父节点

  • @:选取属性

     <?xml version="1.0" encoding="utf-8" ?>
     <school>    
     	<teacher>        
     		<name>LiuDa</name>        
     		<age detail="Age for 2010">18</age>        
     		<mobile>13225775176</mobile>    
     	</teacher>    
     	<student score='99'>        
     		<name other="他是班长">Anrry</name>        
     		<age detail="He is the yongest in class">11</age>    
     	</student>    
     	<student>        
     		<name>Jane</name>        
     		<age>12</age>        
     		<mobile>1555687952</mobile>    
     	</student>
     </school>
    
  • 基于xml的案例

     school/teacher:返回teacher节点        
     school/student:返回两个student节点        
     //student:选取所有student的节点,不考虑位置        
     school//age:选取school后代中所有age节点        
     //@other:选取other属性        
     //age[@detail]:选取带有属性detail的age元素
    

3、谓语-Predicates

  • 选取school下面的第一个student节点

      /school/student[1]
    
  • 选取school下面的最后一个student节点

      /school/student[last()]		
    
  • 选取school下面的倒数第二个student节点

      /school/student[last()-1]
    
  • 选取school下面的前两个student节点

      /school/student[position()<3]
    
  • 选取带有属性score的student节点

       //student[@score]
    
  • 选取带有属性score且值为99的student节点

      //student[@score="99"]
    
  • 选取带有属性score的student节点的子节点age

      //student[@score]/age
    

4、Xpath的一些操作

  • |:或者

      //student[@score] | //teacher
    

    选取带有属性score的student节点和teacher节点

二、正则表达式(re)

  • 是一个计算机科学的概念-
  • 用于使用单个字符串来描述,匹配符合某个规则的字符串
  • 常常用来检索,替换某些模式的文本

正则的写法

  • .(点号):表示任意一个字符,处了\n,比如查找所有的一个字符 \.
  • []:匹配中括号中列举的任意字符
  • \d:任意一个数字- \D:处了数字都可以
  • \s:表示空格,tab键
  • \S:除了空白符号
  • \w:单词字符,就是a-z,A-Z,0-9,_
  • \W:除了\w
  • *:表示前面的内容重复零次或者多次
  • +:表示前面内容至少出现一次
  • ?:前面才出现的内容0次或者一次
  • {m,n}:允许前面的内容出现最少m次,最多n次
  • ^:匹配字符串的开始
  • $:匹配字符串的结尾
  • \b:匹配单词的边界
  • ():对正则表达式内容进行分组,从第一个括号开始,编号渐渐增大
  • \A:只匹配字符串开头
  • \Z:仅匹配字符串末尾
  • |:左右任意一个
  • (?P< name>…):分组,除了原来的标号再指定一个别名
  • (?P=name):引用分组
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
完整版:https://download.csdn.net/download/qq_27595745/89522468 【课程大纲】 1-1 什么是java 1-2 认识java语言 1-3 java平台的体系结构 1-4 java SE环境安装和配置 2-1 java程序简介 2-2 计算机中的程序 2-3 java程序 2-4 java类库组织结构和文档 2-5 java虚拟机简介 2-6 java的垃圾回收器 2-7 java上机练习 3-1 java语言基础入门 3-2 数据的分类 3-3 标识符、关键字和常量 3-4 运算符 3-5 表达式 3-6 顺序结构和选择结构 3-7 循环语句 3-8 跳转语句 3-9 MyEclipse工具介绍 3-10 java基础知识章节练习 4-1 一维数组 4-2 数组应用 4-3 多维数组 4-4 排序算法 4-5 增强for循环 4-6 数组和排序算法章节练习 5-0 抽象和封装 5-1 面向过程的设计思想 5-2 面向对象的设计思想 5-3 抽象 5-4 封装 5-5 属性 5-6 方法的定义 5-7 this关键字 5-8 javaBean 5-9 包 package 5-10 抽象和封装章节练习 6-0 继承和多态 6-1 继承 6-2 object类 6-3 多态 6-4 访问修饰符 6-5 static修饰符 6-6 final修饰符 6-7 abstract修饰符 6-8 接口 6-9 继承和多态 章节练习 7-1 面向对象的分析与设计简介 7-2 对象模型建立 7-3 类之间的关系 7-4 软件的可维护与复用设计原则 7-5 面向对象的设计与分析 章节练习 8-1 内部类与包装器 8-2 对象包装器 8-3 装箱和拆箱 8-4 练习题 9-1 常用类介绍 9-2 StringBuffer和String Builder类 9-3 Rintime类的使用 9-4 日期类简介 9-5 java程序国际化的实现 9-6 Random类和Math类 9-7 枚举 9-8 练习题 10-1 java异常处理 10-2 认识异常 10-3 使用try和catch捕获异常 10-4 使用throw和throws引发异常 10-5 finally关键字 10-6 getMessage和printStackTrace方法 10-7 异常分类 10-8 自定义异常类 10-9 练习题 11-1 Java集合框架和泛型机制 11-2 Collection接口 11-3 Set接口实现类 11-4 List接口实现类 11-5 Map接口 11-6 Collections类 11-7 泛型概述 11-8 练习题 12-1 多线程 12-2 线程的生命周期 12-3 线程的调度和优先级 12-4 线程的同步 12-5 集合类的同步问题 12-6 用Timer类调度任务 12-7 练习题 13-1 Java IO 13-2 Java IO原理 13-3 流类的结构 13-4 文件流 13-5 缓冲流 13-6 转换流 13-7 数据流 13-8 打印流 13-9 对象流 13-10 随机存取文件流 13-11 zip文件流 13-12 练习题 14-1 图形用户界面设计 14-2 事件处理机制 14-3 AWT常用组件 14-4 swing简介 14-5 可视化开发swing组件 14-6 声音的播放和处理 14-7 2D图形的绘制 14-8 练习题 15-1 反射 15-2 使用Java反射机制 15-3 反射与动态代理 15-4 练习题 16-1 Java标注 16-2 JDK内置的基本标注类型 16-3 自定义标注类型 16-4 对标注进行标注 16-5 利用反射获取标注信息 16-6 练习题 17-1 顶目实战1-单机版五子棋游戏 17-2 总体设计 17-3 代码实现 17-4 程序的运行与发布 17-5 手动生成可执行JAR文件 17-6 练习题 18-1 Java数据库编程 18-2 JDBC类和接口 18-3 JDBC操作SQL 18-4 JDBC基本示例 18-5 JDBC应用示例 18-6 练习题 19-1 。。。
以下是用Python的requests和xpath则表达式爬取豆瓣电影top250详情页的代码: ```python import requests from lxml import etree import re def get_movie_details(url): # 发送请求获取页面内容 response = requests.get(url) html = response.content.decode('utf-8') # 解析页面内容 selector = etree.HTML(html) # 获取电影名称 movie_name = selector.xpath('//h1/span/text()')[0] # 获取导演和主演信息 director_and_cast = selector.xpath('//div[@id="info"]/span[1]/span[@class="attrs"]/a/text()') director = director_and_cast[0] cast = director_and_cast[1:] # 获取上映年份、地区、类型 year_country_type = selector.xpath('//div[@id="info"]/text()') year = re.findall('\d{4}', year_country_type[1])[0] country = year_country_type[2].strip().split('/')[0] type = year_country_type[2].strip().split('/')[-1] # 获取评分和评价人数 rating = selector.xpath('//strong[@class="ll rating_num"]/text()')[0] rating_num = selector.xpath('//div[@class="rating_sum"]/a/span/text()')[0] # 获取电影简介 summary = selector.xpath('//div[@class="indent"]/span[@class="all hidden"]/text()')[0] # 构造电影信息字典 movie_info = { '名称': movie_name, '导演': director, '主演': cast, '年份': year, '地区': country, '类型': type, '评分': rating, '评价人数': rating_num, '简介': summary.strip(), } return movie_info if __name__ == '__main__': urls = ['https://movie.douban.com/top250?start={}'.format(i) for i in range(0, 250, 25)] for url in urls: response = requests.get(url) html = response.content.decode('utf-8') selector = etree.HTML(html) # 获取电影详情页链接 movie_links = selector.xpath('//div[@class="hd"]/a/@href') for link in movie_links: movie_info = get_movie_details(link) print(movie_info) ``` 这段代码会爬取豆瓣电影top250列表页面中每部电影的详情页,并从详情页中提取电影名称、导演和主演、上映年份、地区、类型、评分、评价人数、电影简介等信息,并打印出来。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值