爬虫+js反反爬等各种反爬
爬虫+js反反爬等各种反爬
zhaojiafu666
保持好奇心,开始养成记录学习笔记的习惯吧,加油!!!
【我坚信】:学习中遇到问题时,要习惯于多思考,根据已经掌握的知识举一反三;搞不懂的,可以使用Google搜索引擎,大部分常见的问题都会有答案;遇到问题不论大小马上就去请教“高手”不是明智之举,自己研究出来的答案远比你从“高手”那里得到的现成答案要记忆深刻,也更有利于你今后的学习。希望自己成为高手的人,从不会放弃自己独立思考问题的机会。
展开
-
python request模块解决psot类型,data里面出现一个key多个value的情况
文章目录需求:方法1:方法2:方法3:需求:遇到一个网站,psot异步获取数据。但是data参数出现一个key多个value情况。尝试有以下几种解决方法。方法1:直接post类型,然后直接浏览器复制view resource。就是urlencode的一个字符串。就是get后缀的params类型。测试可行。比如:params = "offset=0&limit=10&tags%255B%255D=3&tagOperation=or&labelTags%5B%5原创 2022-04-13 15:53:13 · 700 阅读 · 0 评论 -
Python+Selenium之鼠标悬浮在指定元素上方和对指定元素块进行截图、拼接图片
1、悬浮在指定元素上方:from selenium import webdriverfrom selenium.webdriver.common.action_chains import ActionChainsdriver = webdriver.Chrome()url = "http://dun.163.com/trial/picture-click"driver.get(url=...原创 2019-03-11 13:23:36 · 1676 阅读 · 0 评论 -
pybloom_live的简单使用
文章目录一、windows安装:二、pybloom_live的简单使用:1、定容BloomFilter的用法:2、ScalableBloomFilter(可伸缩)3、对比定容不一样,加入的一样的ScalableBloomFilter(LARGE_SET_GROWTH)4、对比定容不一样,加入的一样的ScalableBloomFilter(SMALL_SET_GROWTH)5、俩个mode对比:6、...原创 2019-11-19 13:02:51 · 3356 阅读 · 2 评论 -
window下安装pybloom_live报错的问题解决--(Microsoft Visual C++ 14.0 is required. Get it with "Microsoft Visual)
文章目录一、说明:二、解决思路1、找的GitHub仓库位置2、找到需要的模块:3、安装bitarray模块:4、解决bitarray模块安装的问题:方法1(不推荐,下载安装都很麻烦):方法2(这个是我尝试之后才知道可以,推荐这个方法):5、再次安装pybloom_live(成功):三、总结参考:一、说明:今天打算安装个安装模块pybloom_live:pip install pybloom...原创 2019-11-19 10:48:55 · 1954 阅读 · 4 评论 -
python 谷歌翻译模块和js解密的一次学习记录
文章目录一、说明:二、 googletrans模块的学习使用:1、安装:2、简单使用:1、基本翻译的用法(也是常用的用法):2、检测文本语言:3、英文翻译成中文(其他语言类似):4、多个句子翻译:三、JS解密翻译:1、参考博主解密的:2、自己扣得js解密:3、对比,有个疑惑:一、说明:本文是基于谷歌翻译的一次爬虫学习,开始是基于模块的学习使用,然后自己尝试了js逆向的使用。二、 google...原创 2019-11-14 17:47:48 · 603 阅读 · 0 评论