unexpectedthing的博客

前言回顾： 基本的处理html数据的工具 requests：可以发送数据和一些基本数据的处理方式 参考文献：https://editor.csdn.net/md/?articleId=118095431 BeautifulSoup 正则表达式的使用 参考文献;https://editor.csdn.net/md/?articleId=117717623 文章目录前言回顾：基本的处理html数据的工具Xpath处理数据实例分析 Xpath处理数据 # 导入模块 from lxml import etree

文章目录request方法get方法POST方法高级操作获取cookies会话保持使用代理参考文献 request方法 request方法用于构造一个请求，可以是get\post\put等任意一种,参数列举如下： url：请求 URL params：请求参数，字典类型，常用于发送 GET 请求时使用 timeout：超时时间 ，整数类型 headers：设置请求头 auth：指定登陆时的账号和密码，元祖类型 verify:请求网站时是否需要验证，布尔类型 proxies:设置代理 cookies：cooki

前言： 今天是我学习爬虫的第一天。因为上周末打CTF比赛，有一道题要用的爬虫来进行爆破，所以我就打算学习爬虫了。 文章目录前言：request包的使用使用正则表达式BeautifulSoup的使用爬取豆瓣电影的实战 request包的使用 基本的爬虫编程：四部曲 （1）. 构建url （2）.使用get方法或者post方法来进行传输数据，返回一个响应对象 （3）.获取对象中的数据 （4）.利用文件知识，进行储存内容 下面是get方法 import requests # 构建URL url = 'http