爬虫
文章平均质量分 72
绪风750
这个作者很懒,什么都没留下…
展开
-
Python爬虫selenium
selenium定位标签并提取数据driver对象常用的属性和方法 driver.page_source当前标签页浏览器渲染之后的网页源代码 driver.current_url当前标签页的url driver.close()关闭当前标签页,如果只有一个标签页则关闭整个浏览器 driver.quit()关闭浏览器 driver.forward()页面前进 ...原创 2021-12-07 18:21:06 · 233 阅读 · 0 评论 -
Python爬虫--数据提取
目录数据提取概述响应内容分类常用解析方法数据提取-jsonjson.loads()json.dumps()json.load()json.dump()数据提取-jsonpath数据提取-xpath数据提取-lxml数据提取概述响应内容分类结构化数据json数据,xml数据非结构化数据html常用解析方法结构化数据 jsonjson模块,jsonpath,rexml模块,xpath,re非结构化数据htmlre,x原创 2021-12-07 16:57:03 · 1010 阅读 · 0 评论 -
Python爬虫常用库requests
Request模块使用目录Request模块使用发送带header,参数的请求,代理IP,处理cookieimport requesturl = “http://www.baidu.com”response = request.get(url)#获取响应URLprint(response.url)#获取响应状态码print(response.status_code)#获取请求头以及响应头信息,返回字典print(response.request.header原创 2021-12-07 15:10:51 · 217 阅读 · 0 评论