爬虫系列
文章平均质量分 85
揭开爬虫神秘面纱
前方一片光明
作者专注于Java、架构、Linux、小程序、爬虫、自动化等技术。 工作期间含泪整理出一些资料,微信搜索【程序员高手之路】,回复 【java】【黑客】【爬虫】【小程序】【面试】等关键字免费获取资料。技术交流、项目合作可私聊。 微信:shuhao-99999
展开
-
使用webmagic爬取网页信息以及通过selenium进行页面元素操作
前言本篇文章主要讲解如何使用webmagic技术来实现网页的爬取,以及使用selenium操作页面元素,实现点击、输入事件所用技术1.webmagic添加需要爬取的urlSpider.create(new MyProcessor()).addUrl("https://www.cnblogs.com/").thread(5).run();在process里面抓取符合条件...原创 2020-04-26 15:04:14 · 30214 阅读 · 331 评论 -
使用webmagic爬取网页信息以及通过selenium进行自动化点赞
传送门: 自动化点赞介绍原创 2019-10-12 11:32:00 · 8101 阅读 · 2 评论 -
爬虫系列——做爬虫必备:各大网站蜘蛛UA
前言User Agent中文名为用户代理,简称 UA,它是一个特殊字符串头,使得服务器能够识别客户使用的操作系统及版本、CPU 类型、浏览器及版本、浏览器渲染引擎、浏览器语言、浏览器插件等。了解各大搜索引擎蜘蛛爬虫的UA,对我们进行某些程序编写十分有用,例如网页判断客户端来源时,UA是常用的标准之一。本文收集了各大搜索引擎的蜘蛛爬虫UA,以便需要时查阅。1.百度蜘蛛Baiduspide......原创 2019-08-10 09:30:28 · 17152 阅读 · 0 评论