松勤软件自动化测试网站,【松勤软件自动化测试】Web自动化selenium技术快速实现爬虫...

importjava.util.List;importjava.util.Set;importorg.openqa.selenium.By;importorg.openqa.selenium.WebDriver;importorg.openqa.selenium.WebElement;importorg.openqa.selenium.chrome.ChromeDriver;importorg.openqa.selenium.support.ui.ExpectedConditions;importorg.openqa.selenium.support.ui.WebDriverWait;public classTest3{private staticWebDriver driver;public static void main(String[] args) throwsInterruptedException {//设置系统变量，指定驱动文件路径

System.setProperty("webdriver.chrome.driver", "src/test/resources/chromedriver.exe");//初始化driver驱动对象

driver = newChromeDriver();//访问拉钩主页获取获取landLagouAndFetchData();

}/**访问拉钩主页获取获取

*@throwsInterruptedException

*/

private static void landLagouAndFetchData() throwsInterruptedException {//访问百度

driver.get("http://www.baidu.com");//窗口最大化driver.manage().window().maximize();//输入查找内容

driver.findElement(By.id("kw")).sendKeys("拉钩");//点击"百度一下"完成搜索

driver.findElement(By.id("su")).click();//获取当前页面的句柄

String currentHandle =driver.getWindowHandle();//点击进入官网

getElement(By.partialLinkText("-专业的互联网招聘平台_找工作_招聘_人才网_求职")).click();//获取或有打开页面的句柄

Set handles =driver.getWindowHandles();//循环句柄

for(String handle : handles) {//获取拉钩页面的句柄

if(!handle.equals(currentHandle)){

driver.switchTo().window(handle);

}

}try{//选择全国站

getElement(By.partialLinkText("全国站")).click();

}catch(Throwable e) {//失败重试机制landLagouAndFetchData();

}//输入查询数据

getElement(By.id("search_input")).sendKeys("自动化测试工程师");//点击"搜索"按钮，完成搜索

getElement(By.id("search_button")).click();//因为所有岗位信息显示区域样式都一样，因此根据样式获取每页的所有岗位信息

...

List webElements =getElements(By.className("default_list"));//循环处理

for(WebElement webElement : webElements) {//打印岗位信息，此处也可考虑保存到文件，后面再统一写入到文件System.out.println(webElement.getText());//分隔符

System.out.println("-------------------------------");

}//循环拿到其余每一页的数据

while(true){//获取"下一页"按钮

WebElement nextPage = getElement(By.className("pager_next"));//循环执行条件："下一页"按钮不为空，且可点击

if(nextPage!=null&&nextPage.isEnabled()){//点击下一页nextPage.click();//等待5秒

Thread.sleep(5000);//根据样式获取每页的所有岗位信息

...

List webElements2 =getElements(By.className("default_list"));//循环打印

for(WebElement webElement : webElements2) {

System.out.println(webElement.getText());

System.out.println("-------------------------------");

}

}else{//不满足条件则终止循环

break;

}

}

}/**显示等待

*@paramlocator 元素定位选择器

*@return

*/

private static ListgetElements(By locator) {//显示等待wait对象，最长等待时间30秒，默认500毫秒页面轮询一次

WebDriverWait wait = new WebDriverWait(driver, 30);try{//调用until方法，传入条件：满足条件的元素列表出现在页面。如果30秒内未找到，则抛出超时异常

List webElements =wait.until(ExpectedConditions.presenceOfAllElementsLocatedBy(locator));returnwebElements;

}catch(Exception e) {

System.out.println("定位元素超时了");

}return null;

}/**显示等待

*@paramlocator 元素定位选择器

*@return

*/

public staticWebElement getElement(By locator){//显示等待wait对象，最长等待时间30秒，默认500毫秒页面轮询一次

WebDriverWait wait = new WebDriverWait(driver, 30);try{//调用until方法，传入条件：满足条件的元素出现在页面。如果30秒内未找到，则抛出超时异常

WebElement webElement =wait.until(ExpectedConditions.presenceOfElementLocated(locator));returnwebElement;

}catch(Exception e) {

System.out.println("定位元素超时了");

}return null;

}

}