爬虫
黑暗料理界的扛把子
新的公司新的开始,每天都是活力满满
展开
-
python selenium 入门使用教程-环境安装
前提条件:安装好python3.5及以上版本、安装好PyCharm安装步骤:1、安装seleniumPyCharm-》File-》Settings-》Project Interpreter-》+-》selenium2、安装webdriver各大浏览器webdriver地址可参考:https://docs.seleniumhq.org/download/Firefox:htt...原创 2019-11-21 13:52:48 · 148 阅读 · 0 评论 -
Java selenium 第三课 驱动加载方式
正常加载驱动的方式System.setProperty("webdriver.chrome.driver", "E:/googledriver/chromedriver.exe");WebDriver driver = new ChromeDriver();需求更改后加载驱动的方式1、加载驱动后调整页面的大小2、隐藏浏览器窗口3、禁止加载图片 //chromedri...原创 2019-11-05 11:27:39 · 510 阅读 · 0 评论 -
selenium webdriver 页面刷新
本文参考文章:https://blog.csdn.net/xiaoguanyusb/article/details/80703708页面刷新使用的方法driver.navigate().refresh();页面刷新的五种方式,其中最常见的为第二种。/**1.Using sendKeys.Keys method点击页面的刷新按钮*/driver.get("https://...转载 2019-10-21 13:59:30 · 3346 阅读 · 0 评论 -
Webmagic+selenium+chromedriver+jdbc垂直抓取数据。
新手小白入手selenium+chromedriver爬虫,爬取各种网站之后觉得只要能看到的都能抓到是真方便,就是效率低了点。所以开始加点东西提高一下爬虫效率。对我来说最直接的方法就是单线程变多线程~~~1、webmagic爬取数据 规则 框架 Selenium webmagic 抓取规则 针对单...原创 2018-09-18 17:28:12 · 2826 阅读 · 4 评论 -
java selenium 基础第一课
最近开始回顾爬虫,主要是用selenium,爬取一些动态生成的页面。1、谷歌浏览器驱动selenium 可以搭配各种浏览器,只要能够匹配到驱动即可,我主要使用谷歌浏览器,浏览器和驱动版本号对应关系如下图驱动下载地址:http://chromedriver.storage.googleapis.com/index.htmlwindows、linux、moc驱动是不一样的,驱动下载完成...原创 2019-08-30 15:07:16 · 142 阅读 · 0 评论 -
jvaa 模拟http get 获取json
一、HTTP简介HTTP协议是Hyper Text Transfer Protocol(超文本传输协议)的缩写。HTTP协议工作于客户端-服务端架构为上。浏览器作为HTTP客户端通过URL向HTTP服务端即WEB服务器发送所有请求。Web服务器根据接收到的请求后,向客户端发送响应信息。 二、HTTP工作原理HTTP协议定义Web客户端如何从Web服务器请...原创 2019-09-19 14:15:42 · 216 阅读 · 0 评论 -
Java selenium第二课 句柄转换
selenium 使用时如果点击操作新打开一个页面就会涉及到句柄的转换//转换句柄String[] handles = new String[driver.getWindowHandles().size()] ;driver.getWindowHandles().toArray(handles);//切换到详细的页面driver.switchTo().window(handles[1...原创 2019-09-26 14:27:20 · 449 阅读 · 0 评论