python中获取网页元素

python中获取网页元素

---

一、方法概括

1. xml/html文本： 正则表达式re、xpath

2. json文件：jsonpath模块、正则表达式re

二、通用方法

使用所有方法获取页面元素都是需要先请求获取数据(爬虫)，对返回数据进行分析，获取数据通过 request.get/post ( … ) 方法，并接收返回数据。

• 语法：

  response = request(url, headers=headers, proxies=proxies, ...)
  

  • 其中 response 是用来接收返回值的变量

  • url 为需要请求页面的地址

  • headers 是发送请求的请求头，一般必须添加 ‘user_agent’ 元素，其他选加

  • proxies 是使用网络代理来避免反爬，一般有 http/https/socks ，其中socks既可以使用 http 也可以使用 https

三、使用正则表达式re获取元素

1、获取 xml/html 或 json 文本 ：

​ re正则表达式获取xml 或 json 文本时都需要使用 resuest 发送请求并接收数据

​ 然后用正则语法进行数据分析提取

2、re语法

​ 1、re.match( ‘re语句’, str, flags=0 ) ：

​ re.match 代表使用的re语句必须在字符串开头就匹配成功，否则就匹配失败；

​ 匹配成功返回匹配对象(element)，失败则返回None。

​ 2、re.search( ‘re语句’, str, flags=0 ) ：

​ re.search 代表使用的re语句在整个字符串中匹配，匹配的到就匹配成功&#