![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
爬虫
爬虫demo
Oliverchenxu
大三学生,前来记录生活
展开
-
爬虫之数据解析
数据解析 正则(字符串匹配) Re模块(表达式,方法) 1)规则 https://blog.csdn.net/CareChere/article/details/52315728? 2)检测 https://regex101.com/#javascript xpath 1)安装 # 安装支持 解析html和XML的解析库 lxml from lxml import etree 2)使用方法 1.转解析类型 xpath_data = etree.HTML(data) 2.调用 xpath的方法 r原创 2020-07-02 16:26:48 · 203 阅读 · 0 评论 -
爬虫之Request库的使用
Requests库 一. 优点 简单易用 url自动转义 py2和py3一致 二. 使用方法 User-Agent 包含电脑信息和浏览器信息,为了反爬,采用多个User-Agent的方式。网上可查询到 headers = { 'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.67 Safari原创 2020-07-02 16:23:13 · 218 阅读 · 0 评论