python学习笔记1.6 爬虫

最新推荐文章于 2023-05-17 10:43:09 发布
最新推荐文章于 2023-05-17 10:43:09 发布
阅读量158 收藏
点赞数
文章标签： 字符串 python java js session
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_37759796/article/details/110185455
版权

爬虫的概念

  • 爬虫是从事模拟浏览器发送请求，获取响应

爬虫的流程

  • 准备url
    • 准备start_url
      • url地址规律不明显，总数不确定
      • 通过代码提取下一页url
        • xpath
        • 寻找url地址，部分参数在当前的响应中
    • 准备url_list
      • 页面总数明确
      • url地址规律明显
  • 发送请求，获取响应
    • 添加随机的User-Agent,防反爬虫
    • 添加随机的IP，防反爬虫
    • 在对方判断出我们时爬虫之后，应该添加更多的headers字段，包括cookie
    • cookie的这一块我们可以用session来解决
    • 准备一堆的cookie，组成cookie池
      • 如果不登陆
        • 准备刚开始能够成功请求对方网站的cookie，即接收对方网站设置在response的cookie
        • 下一次请求的时候，使用之前的列表中的cookie来请求
      • 如果登陆
        • 准备多个账号
        • 使用程序获取每个账号的cookie
        • 之后随机的选择cookie请求登录之后才能访问的网站
  • 提取数据
    • 确定数据的位置
      • 如果数据在当前的url地址中
        • 提取的时列表页的数据
          • 直接请求列表页url地址，不用进入详情页
        • 提取的是详情页的数据
          • 1.确定url
          • 2.发送请求
          • 3.提取数据
          • 4.返回
      • 如果数据不在当前的url地址中
        • 在其他的响应中，寻找数据的位置
          • 1.从network中从上往下找
          • 2.使用chrome钟的过滤条件，选择出js,css,img之外的按钮
          • 3.使用chrome的search all file,搜索数字和英文
    • 数据的提取
  • 保存
    • 保存在本地，text,json,csv
    • 保存在数据库
爬虫要根据当前的url地址对应的响应为准，当前url地址的elements的内容和内容和url的响应不一样

页面的数据在那里

  • 当前url地址对应的响应中
  • 其他的url地址对应的响应中
    • 比如ajax请求中
  • js生成的
    • 部分数据在响应中
    • 全部通过js生成

判断请求是否成功

assert response.status_code == 200

url编码

  • https://tieba.baidu.com/f?kw = \xe6\x9d\x8e\xe6\xaf\x85

字符串格式化的另一种方式

"test{}format".format(1)

使用代理ip

  • 准备一对的ip地址，组成ip池，随机选择一个ip来用

  • 如何随机选择代理ip，让使用次数少的ip地址有更大的可能性被用到

    • {"ip":"ip","times":0}
    • [{},{},{}],对这个ip的列表按照使用次数排序
    • 选择使用次数少的10个ip，从中随机选择一个

  • 检查ip的可用性

    • 可以使用requests添加超时参数，判断ip地址的质量
    • 在线代理ip质量检测的网站

携带cookie请求

  • 携带一堆cookie进行请求，把cookie组成cookie池

使用requests的session对象请求登录之后的网站的思路

  • 实例化session
  • 先使用session发送请求，登录网站，把cookie保存在session中
  • 再使用session请求登录之后才能访问的网站，session能够自动的携带登录成功时保存在其中的cookie，进行请求

不发送post请求，使用cookie获取登录后的页面

  • cookie过期时间很长的网站
  • 在cookie过期之前能够拿到所有的数据，比较麻烦
  • 配合其他程序一起使用，其他程序专门获取cookie，当前程序专门请求页面

字典推导式，列表推导式

cookies="BIDUPSID=3F25DC781B02548A8189297D491A16DD; PSTM=1560840870; REALTIME_TRANS_SWITCH=1; FANYI_WORD_SWITCH=1; HISTORY_SWITCH=1; SOUND_SPD_SWITCH=1; SOUND_PREFER_SWITCH=1; BAIDUID=6E8741147E64571FFFFA7DF44E44AA92:FG=1; BDSFRCVID=bW_OJeC62A5IuP7uPMTjh-bydaMeSM5TH6ao4XCgB-Mx1SpMBEdXEG0Pof8g0KubyKdsogKK3gOTH4PF_2uxOjjg8UtVJeC6EG0Ptf8g0M5; H_BDCLCKID_SF=tJk8oK0atCI3fn5PqR6OM5JBD2T22-usbPjd2hcH0KLKfpR6Xbro5t-Xhx73e4j2LKjaQ4TnJfb1MRjv3bOrQJDnMxv7QxJibjLDBl5TtUJ6eCnTDMRh-l0QWtOyKMnitKv9-pP2LpQrh459XP68bTkA5bjZKxtq3mkjbPbDfn02eCKuD6K5j6jWeaus-bbfHJIDoCP8Kb7Vbno5BUnkbfJBD4LtBRQTJ5TT2xb_2T6DJJbpXto6XjL7yajK253v0KvGsl6ytxO28qoHbh7pQT8rhUDOK5OibCr8abbbab3vOIOTXpO1jh8zBN5thURB2DkO-4bCWJ5TMl5jDh3Mb6ksD-FtqtJHKbDHVCL5Jx5; BDUSS=3haUmNJWm5wVGZTfkJRdU51ZVRqRkIxTVBKTndFZ1hsTE1obnhveFRXVW5BUmhmSVFBQUFBJCQAAAAAAAAAAAEAAAD3M-mAt8m457XEzt672tGh1PEAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAACd08F4ndPBeU; delPer=0; PSINO=6; Hm_lvt_64ecd82404c51e03dc91cb9e8c025574=1593326774; Hm_lvt_afd111fa62852d1f37001d1f980b6800=1593327266; BDRCVFR[feWj1Vr5u3D]=I67x6TjHwwYf0; H_PS_PSSID=31907_1461_31325_21117_32139_32046_32092; BDORZ=B490B5EBF6F3CD402E515D22BCDA1598; yjs_js_security_passport=a082f5fec3423f5c0b369379442d3581fc8d776d_1593328810_js; __yjsv5_shitong=1.0_7_448adffc4ebfb602d1a695933e08cd93d7b3_300_1593329008410_113.116.115.100_3562e738; Hm_lpvt_afd111fa62852d1f37001d1f980b6800=1593329133; Hm_lpvt_64ecd82404c51e03dc91cb9e8c025574=1593329134"
cookies={i.split("=")[0]:i.split("=")[1] for i in cookies.split("; ")}

[self.url_temp.format(i*50) for i in range(1000)]

获取登录后页面的三种方式

  • 实例化session，使用session发送post请求，再使用他获取登录后的页面
  • headers中添加cookie
  • 在请求方法中添加cookies参数。cookie以字典形式接受

安装第三方模块

  • pip install
  • 下载源码解码，进入解压后的目录，运行：python setup.py install
  • ***.whl安装方法pip install ***.whl

json使用注意点

  • json中的字符串都是双引号引起来的
    • 如果不是双引号
      • eval：能实现简单的字符串和python类型的转化
      • replace：把单引号替换为双引号

正则使用的注意点

  • re.findall("a(.*?)b","str"),能够返回括号里的内容，括号前后的字符起到定位和过滤的作用
  • 原始字符串rre.findall(r"a(.*?)b","str"),能够忽略待转译字符串中反斜杠的转译效果
  • 点号默认匹配不到\n
  • \s能够匹配到空白字符，不仅包含空格，还有\t|\r\n

xpath学习重点

  • 使用xpath helper 或者是Chrome中的copy xpath都是从elements中提取的数量， 但是爬虫获取的是url对应的响应，往往和elements不一样

  • 获取文本

    • a/text()获取a下的文本
    • a//text()获取a下的所有标签的文本

  • @符号

    • a/@href
    • //ul[@id="detail-list"]

  • //

    • 在xpath开始的时候表示从当前html总的任意位置开始选择
    • p//a 表示的是p下的任何一个a

lxml使用注意点

  • lxml能够修正HTML代码，但是可能会改错

    • 使用etree.tostring()观察修改之后的html的样子，根据修改之后的html 字符串写xpath

  • 提取页面数据的思路

    • 先分组，取到一个包含分组标签的列表
    • 遍历，取其中每一组进行数据的提取，不会造成数据的对应错乱
杨鹏飞乀
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
python的pdb调试
Erik_Y的博客
03-05 635
python的pdb调试
python 调试工具 pdb 的基本用法（Python Debugger）
热门推荐
qq_43799400的博客
01-19 3万+
pdb 有2种用法： 1、非侵入式方法 （不用额外修改源代码，在命令行下直接运行就能调试） python3 -m pdb filename.py 2、侵入式方法 （需要在被调试的代码中添加以下代码然后再正常运行代码） import pdb pdb.set_trace() 当你在命令行看到下面这个提示符时，说明已经正确打开了pdb (Pdb) pdb 基本命令 命令 解释 break 或 b 设置断点 continue 或 c 继续执行程序 list 或 l 查看当前行的代
python 调试之pdb简单用法
weixin_44596902的博客
10-20 503
import pbd;pdb.set_trace() 将上述代码插入到你想断点的前一句，然后照常执行你的代码，即可以进入调试模式，注意箭头指向的是下一条要执行的代码 常用指令（在（pdb) 后面输入并回车即可： h --> 显示帮助，共有哪些指令 #-- help h n --> 显示关于n指令的帮助 #-- help next n --> 执行当前待执行的语句 #-- next s --> 如果下一条语句是个函数，则此条指令跳入函数内部 #-- step r --> 跳入
python中pdb的使用
weixin_50354250的博客
05-17 1101
利用pdb调试python程序
【Python】: 使用 pbd 进行调试pyhon代码
Jack_Kuo的博客
07-20 1687
使用PDB的方式有两种: 1. 命令行 单步执行代码,通过命令 python -m pdb xxx.py 启动脚本，进入单步执行模式 pdb命令行： 1）进入命令行Debug模式，python -m pdb xxx.py 2）h：（help）帮助 3）w：（where）打印当前执行堆栈 4）d：（down）执行跳转到在当前堆栈的深一层（个人没觉得有什么用处） 5）u：（up）执行跳转到当前堆栈的上一层 6）b：（break）添加断点 b 列出当前所有断点，和断点执行到统
python 爬虫学习笔记
03-09
python 爬虫学习笔记
python爬虫学习笔记.zip
最新发布
01-01
这些笔记不仅有助于理解项目的开发过程，还能为学习Python爬虫技术提供宝贵的参考资料。 适用人群： 这份项目合集适用于所有对Python爬虫开发感兴趣的人，无论你是学生、初学者还是有一定经验的开发者。无论你是想...
python爬虫学习笔记-scrapy框架(1)
01-29
python爬虫学习笔记-scrapy框架(1) python scrapy 爬虫 python爬虫学习笔记-scrapy框架(1) python scrapy 爬虫 python爬虫学习笔记-scrapy框架(1) python scrapy 爬虫 python爬虫学习笔记-scrapy框架(1) python ...
Python学习笔记 .pdf
12-21
Python学习笔记 .pdf Python学习笔记 .pdf Python学习笔记 .pdf Python学习笔记 .pdf Python学习笔记 .pdf Python学习笔记 .pdf Python学习笔记 .pdf Python学习笔记 .pdf Python学习笔记 .pdf Python学习笔记 .pdf ...
pbd:Pbd是一个Python模块，用于反汇编序列化协议缓冲区描述符（https
05-28
Pbd-协议缓冲区反汇编程序 关于 Pbd是一个Python模块，用于反汇编序列化的协议缓冲区描述符（ ）。 例子： > python -m pbd -f examples \t est.ser _ | _ | _ | _ | _ | _ | _ | _ | _ | _ | _ | _ | _ | _ | _ | _ | _ | _ | _ | _ | _ | _ | _ | _ | _ | _ | _ | _ | _ | _ | _ | _ | ver 0.9 [+] Paring file test.ser [+] Proto file saved as . \t est.proto > type tes
Python爬虫课--第二节 爬虫请求模块 urllib.request，urllib.parse，requests模块
MiStonebridge的博客
08-20 2万+
1 urllib.request模块 1.1 版本 python2 ：urllib2、urllib python3 ：把urllib和urllib2合并,urllib.request 1.2 常⽤的⽅法 urllib.request.urlopen(“⽹址”) 作⽤ ：向⽹站发起⼀个请求并获取响应 import urllib.request # response是响应对象 response = urllib.request.urlopen('https://www.duitang.com/') # read
python爬虫知识----爬取大量高效的数据----scrapy框架（五）
斗师——Ace
01-11 1305
添加小程序，兑换各种视频教程/数据资源。 1. scrapy框架：爬虫爬取数据时，scrapy封装了一些基础的东西，是使用Twisted异步网络框架，更高效率的爬虫。 2. scrapy的下载：pip(pip.exe) install scrapy。中文文档：http://www.scrapyd.cn/doc/。在window系统下，还需要安装pip(pip.exe) install py...
URLlib的理论与操作
惊鸿的博客
10-30 765
1、一个类型六个方法 import urllib.request url="hht://www.baidu.com" headers = { "User-Agent":"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3877.400 QQBrowser/10.8.4506.400" } re...
Python爬虫_Cookie
苦涩
10-20 872
文章目录Cookie状态管理Cookie处理 Cookie状态管理 由于HTTP是一种无状态的协议，服务器单从网络连接上无从知道客户身份。怎么办呢？就给客户端们颁发一个通行证吧，每人一个，无论谁访问都必须携带自己通行证。这样服务器就能从通行证上确认客户身份了。这就是Cookie的工作原理 Cookie和Session都用来保存状态信息，都是保存客户端状态的机制，它们都是为了解决HTTP无状态的问题...
使用Pdb调试Python
急流勇进
03-04 7120
原文链接：https://segmentfault.com/a/1190000006628456 本文章为转载，纯属学习之用。 简单介绍 Python自带 Pdb库，使用 Pdb调试 Python程序还是很方便的。但是远程调试、多线程，Pdb是搞不定的 本文参考的相关文章如下： 《指针和字符串和字符串常量、用gdb来获...
Python调试利器PDB
wyb_009的专栏
05-07 1万+
结束添加print然后执行脚本的低效Debug方式，熟悉GDB的同学应该很容易就接受PDB。官方文档地址：http://docs.python.org/library/pdb.html。 使用PDB的方式有两种，其中一种是在脚本中添加代码，不觉得这种方式比print好在哪里，所以这种方式此文不表。这里我们只学习PDB的命令行使用方式。     1）进入命令行Debug模式，
python练手项目
weixin_30642561的博客
02-08 3898
　　为了练习python，将python练习册学习了一遍，记录下自己的答案，习题地址：https://github.com/Yixiaohan/show-me-the-code 第 0000 题： 将你的 QQ 头像（或者微博头像）右上角加上红色的数字，类似于微信未读信息数量那种提示效果。 （使用到PIL（pip install pillow）图像处理模块） #coding:utf-...
爬虫之request模块介绍使用
Claire_chen_jia的博客
05-03 639
爬虫之request模块介绍使用1.request模块安装2.requests模块2.1 常用方法2.2响应对象的方法2.3发送post请求2.4requests设置代理2.5cookie2.6session2.7处理不信任的SSL证书 1.request模块安装 （1）cmd中pip install requests （2）开发者工具安装 pycharm 里面的Terminal安装 - py...
UI自动化python中selenium笔记iframe和cookie和wait
weixin_68440128的博客
05-25 207
wait显示等待和隐式等待的区别是什么 当定位不到元素时，你会检查哪些情况
python学习笔记 pdf
11-21
Python学习笔记PDF是一种学习Python编程语言的资料形式，它包含了Python的基本语法、数据类型、流程控制、函数、模块、面向对象编程、异常处理等相关内容。以下是关于Python学习笔记PDF的详细内容说明： 1. 基本...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值