![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
python爬虫
文章平均质量分 54
Z3eyOnd
web安全小白
展开
-
python爬虫--xpath的学习
前言回顾:基本的处理html数据的工具requests:可以发送数据和一些基本数据的处理方式参考文献:https://editor.csdn.net/md/?articleId=118095431BeautifulSoup正则表达式的使用参考文献;https://editor.csdn.net/md/?articleId=117717623文章目录前言回顾:基本的处理html数据的工具Xpath处理数据实例分析Xpath处理数据# 导入模块from lxml import etree原创 2021-07-09 23:23:03 · 128 阅读 · 0 评论 -
python爬虫---requests库的学习
文章目录request方法get方法POST方法高级操作获取cookies会话保持使用代理参考文献request方法request方法用于构造一个请求,可以是get\post\put等任意一种,参数列举如下:url:请求 URLparams:请求参数,字典类型,常用于发送 GET 请求时使用timeout:超时时间 ,整数类型headers:设置请求头auth:指定登陆时的账号和密码,元祖类型verify:请求网站时是否需要验证,布尔类型proxies:设置代理cookies:cooki原创 2021-06-21 23:44:54 · 531 阅读 · 0 评论 -
python爬虫学习之路1
前言:今天是我学习爬虫的第一天。因为上周末打CTF比赛,有一道题要用的爬虫来进行爆破,所以我就打算学习爬虫了。文章目录前言:request包的使用使用正则表达式BeautifulSoup的使用爬取豆瓣电影的实战request包的使用基本的爬虫编程:四部曲(1). 构建url(2).使用get方法或者post方法来进行传输数据,返回一个响应对象(3).获取对象中的数据(4).利用文件知识,进行储存内容下面是get方法import requests# 构建URLurl = 'http原创 2021-06-08 22:51:33 · 151 阅读 · 1 评论