爬虫
文章平均质量分 60
你的名字(python爬虫爱好者)大二了
本人技术萌新, 博客主要记录学习过程. 谢谢阅览
展开
-
selenium自动化,iframe嵌套导致窗口下滑失效及解决办法
首先selenium窗口下滑无效, 是否满足网页iframe嵌套.非该条件,下面办法无法解决原因: 网页异步加载, 有部分数据必须窗口下滑才能异步加载完全, 这个异步加载的数据又渲染在这个iframe嵌套里, 所以必须切换到该数据的iframe嵌套下.操作开始: 首先定位iframe嵌套标签, 然后利用 driver.switch_to.frame('iframe定位标签')进行切换在程序切换后, 执行窗口下滑操作即可.例如网页云: iframe嵌套...原创 2021-09-24 17:56:13 · 758 阅读 · 0 评论 -
目前记录♡最详细的一篇记录学习笔记 ---Python爬虫(18) selenium自动化安装和使用
selenium自动化介绍Selenium是一个Web的自动化测试工具,最初是为网站自动化测试而开发的,Selenium 可以直接运行在浏览器上,它支持所有主流的浏览器(包括PhantomJS这些无界面的浏览器),可以接收指令,让浏览器自动加载页面,获取需要的数据,甚至页面截屏.主讲chromeChromedriver的介绍 # 主讲这个WebDriver是一个用来进行复杂重复的web自动化测试的工具,可以理解它是谷歌的浏览器的驱动或者插件,自动化selenium提供调用该...原创 2021-09-17 00:18:37 · 527 阅读 · 0 评论 -
Xpath helper安装和使用
目录1. 第一步:打开谷歌浏览器第二步: 选择解压文件第三步:固定图标一.下载安装包这里有下载资源: xpath helper 的安装包链接:https://pan.baidu.com/s/1u1GV08K1uzJj8TWA12hcig提取码:aaaa--来自百度网盘超级会员V3的分享1. 第一步:打开谷歌浏览器 导航栏输入: chrome://extensions 进入扩展程序第二步: 选择解压文件...原创 2021-09-08 15:58:13 · 192 阅读 · 0 评论 -
学习笔记--爬虫(11)---js逆向思路和解密思路(初级)
在学习js逆向思路之前,我们先来了解参数的几种常见的加密方式加密: 就是通过某种算法将原本的数据内容加密为特殊位数的参数加密方式: (1)Md5加密: 通过md5加密会生成一个16位或者32位的加密参数. 特征位数: 16. 32 (2)对称加密DES/AES两个: 就是加密和解密用的是同一把钥匙. 特征: 秘钥唯一 (3)非对称加密RSA: 就是有加密公钥和解密私钥. 特征: 加密解密钥匙不唯一 (4)b...原创 2021-09-07 19:41:12 · 2444 阅读 · 2 评论 -
学习笔记 ---爬虫(10)爬虫常用工具fiddler 和postman
在学django的时候因为自己爬虫还有很多节课没有学习. 本节记录自己学习爬虫基础之爬虫工具的使用,加一个微博指数的小案例.目录一, 抓包工具fiddler二, 爬虫辅助工具postman@微博指数('病毒')小案例.&励志语录一, 抓包工具fiddler 我是看不懂英文,都怪英语没有学好.唉后悔了.不管了,咱们继续讲解.设置这么可以开始操作啦.为什么用抓包工具,因为有一些包在浏览器...原创 2021-08-20 20:35:33 · 1055 阅读 · 1 评论 -
学习笔记--问题总结(2) ----爬虫时报错为check_hostname requires server_hostname的解决办法
唉,学习的时候老是遇到问题, 一遇到问题就得捣鼓一些时间.为了让广大同学有更多的时间学习. 特此记录本次报错解决办法.出现这样的原因,还没有找到,一个是一个bug.但是却很好解决.解决办法有两个.1. 关闭本机的ip代理.2. 修改出现bug的urllib3的版本.我觉得应该是有有bug版本与代理服务器设置的代码出现了bug.我目前测得的 urllib3 == 1.25.8 没有这个问题.但是urllib3 == 1.26.4出现这个...原创 2021-08-20 16:00:14 · 228 阅读 · 0 评论