![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
爬虫
_Vimin_
这个作者很懒,什么都没留下…
展开
-
【Scrapy】【SSL】scrapy中HTTPS协议握手报错问题
记录一个SSL问题:twisted.web._newclient.ResponseNeverReceived: [<twisted.python.failure.Failure OpenSSL.SSL.Error: [('SSL routines', 'ssl23_read', 'ssl handshake failure')]>]官方文档:DOWNLOADER_CLI...原创 2020-01-07 18:33:59 · 1548 阅读 · 0 评论 -
【XPATH】定位百度搜索页码栏的【下一页】元素
百度搜索页码栏,均为a标签,【上一页】与【下一页】中class=“n”;所以定位思路为:先找到最后一个不为class="n"的a标签,然后取其后一个a标签;xpath如下:(//*[@id="page"]/a[not(@class="n")])[last()]/following-sibling::a[1]...原创 2019-04-11 11:45:06 · 1917 阅读 · 0 评论 -
【爬虫】Python3突破css文件的数据隐藏
一、css文件进行数据隐藏的原理;1、 后端将一些确定的数据(如数字、汉字等)写入svg文件中进行数据隐藏,然后通过css文件显示svg文件的相对位置,达到前端的展示;二、突破css文件数据隐藏;1、获取被修饰数据的css文件,以及对应的svg文件,我们以某点评为例;svg文件地址:http://s3plus.meituan.net/v1/mss_0a06a471f9514fc79c981...原创 2019-04-09 20:11:17 · 1021 阅读 · 0 评论 -
【踩坑】使用pyppeteer踩坑记录
错误:pyppeteer.errors.NetworkError: Execution context was destroyed, most likely because of a navigation.解决方案:将wobsockets 7.0降级到6.0版本;pip uninstall websocketspip install websockets==6.0...原创 2019-05-07 16:48:21 · 6357 阅读 · 2 评论