web杂谈(开发,安全,chrome扩展等)
橘猫且engi
这个作者很懒,什么都没留下…
展开
-
(原创)利用页面交叉引用反馈爬取vulners.com的数据
因为实验室的工作需要,需要对vulners.com网站上的漏洞信息和相关链接进行数据爬取,但是vulners本身对爬虫的限制非常严格,前端页面都是由react.js生成的,很难单纯靠爬虫获取html数据。原创 2017-07-27 12:37:49 · 1096 阅读 · 0 评论 -
(原创)反爬虫策略对抗实战(一)——绕过网页请求认证
(原创)使用爬虫爬取js生成的网页前日同组的同事联系我帮他查看一个网站,该网站的数据保护相对严格,难以直接使用scrapy或者requests等爬虫工具直接进行爬取。待爬取的网站和内容待爬取的网站:https://software.cisco.com/download/home?from=singlemessage&isappinstalled=0该网站是Cisco的路由器和其...原创 2019-04-16 17:22:08 · 3990 阅读 · 3 评论