![](https://img-blog.csdnimg.cn/5c4e1ca116594f949ecf194e495294e2.jpg?x-oss-process=image/resize,m_fixed,h_224,w_224)
爬虫
使用Python爬虫包括scrapy框架,遇见的各种加密方式以及反爬的方式,针对这些方式怎样的处理,各种的特殊情况,记录过程,仅供学习,互相学习,
还是那个同伟伟
百万代码中取bug首级
展开
-
Python中的AES解密和加密,爬虫时碰见AES加密怎么办?
# coding=utf-8from Crypto.Cipher import AESimport base64import timeimport jsonclass Decrypt: def __init__(self, key, iv): self.key = key.encode('utf-8') self.iv = iv.encode('utf-8') def pkcs7padding(self, text): "..原创 2022-02-25 17:45:36 · 1054 阅读 · 1 评论 -
Python的scrapy框架POST方式爬虫时碰见__VIEWSTATE和__EVENTVALIDATION的参数处理
1.目标网站2.碰见__VIEWSTATE和__EVENTVALIDATION的参数3.参数解释以及必要性4.详解__EVENTTARGET的参数值对应不同的思路4.1. 第一种,点击下一页的方式,PageNavigator1$LnkBtnNext4.2 第二种,点击跳转的方式,PageNavigator1$LnkBtnGoto5.分析__VIEWSTATE和__EVENTVALIDATION这两个参数6.全部代码6.1 使用点击下一页的方式运行结果:6.2 使用点.原创 2021-12-10 12:36:44 · 3115 阅读 · 2 评论 -
Xpath语法以及xpath特殊用法和函数
1.取某标签下的偶数位置标签信息(隔行取,隔一个取值)tr.xpath("//td[position()=((position() mod 2)=0)]//text()")后续继续更新原创 2021-10-14 12:37:08 · 370 阅读 · 0 评论