数据解析
xiao_fan_#
这个作者很懒,什么都没留下…
展开
-
数据解析——xpath解析
前言:xpath解析在爬虫中是较为常用的一个数据解析方式,以及在scrapy框架学习中也会再次用到,所以多少还是要会的 文章目录1.xpath解析原理1.1. 实例化一个etree的对象,且需要将被解析的页面源码数据加载到该对象中1.2 2. 调用etree对象中的xpath方法结合着xpath表达式实现标签的定位和内容的捕获2. 环境安装3. 进行实例化4. xpath 表达式4.1 '/' 用法4.2 属性定位4.3 索引定位4.4 定位后的取操作4.4.1 取文本4.4.2 取属性 1.xpath解析原创 2020-08-18 00:51:26 · 1174 阅读 · 0 评论 -
数据解析——bs4解析
文章目录1. 环境安装1.1 打开系统打开cmd指令输入 pip install bs41.2 出现 Retrying (Retry(total=4, connect=None, read=None, redirect=None, status=None) 的解决方案2. 相关方法2.1 比如筛选一个标签如:\ 下的相关方法3. 进行实战(获取一个代理ip网的相关信息)3.1 分析目标在哪个标签3.2 分析可知其在div标签3.3 最后进行目标内容的提取小结: 1. 环境安装 1.1 打开系统打开cmd原创 2020-08-15 18:50:45 · 892 阅读 · 0 评论 -
数据解析——正则表达式
前言 会获取html数据,但不会简单得到怎么办?这就可以简单教你了! 文章目录前言1. 简单了解什么是正则2. 简单了解相关知识2.1. 了解re模块方法2.2. 了解部分正则式2.3. 简单提取相关数据2.3.1 使用关键词搜索2.3.2. 使用正则 ‘.’ 搜索2.3.3 使用非贪婪模式提取相关信息小结: 1. 简单了解什么是正则 用于文本匹配的使用特定语法书写的式子。 类似于Windows中,.txt 用于搜索所有的文本文件(注:在正则式中不再是通配符) 2. 简单了解相关知识 2.1. 了解re模块原创 2020-08-15 18:04:05 · 790 阅读 · 0 评论