去哪儿网网页版机票数据

最新推荐文章于 2025-04-14 15:13:07 发布

lootaa

最新推荐文章于 2025-04-14 15:13:07 发布

阅读量1.3k

点赞数

分类专栏：携程去哪儿机票数据爬虫文章标签： chrome 爬虫 java

本文链接：https://blog.csdn.net/m0_58095675/article/details/121708190

版权

携程去哪儿机票数据爬虫专栏收录该内容

8 篇文章

订阅专栏

本文介绍了如何利用Java的Selenium库和BrowserMobProxy代理来抓取并解析去哪儿网网页版机票查询数据。通过设置Chrome浏览器选项、添加代理和响应过滤器，成功绕过反爬机制，获取到机票列表和详细信息。同时，展示了如何处理分页和模拟用户交互。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

选型

请求参数中，有pre、_m_等，需要进行js破解，难度较大，尝试了两次失败了，换方式。使用selenium抓取网页数据。
首选需要下载chromedriver，根据chrome的版本进行选择。链接地址：http://chromedriver.storage.googleapis.com/index.html
如果选择的版本错误，运行的时候控制台也会打印正确的版本，重新下载替换即可。

概述

去哪儿网网页版机票查询的网址是https://flight.qunar.com/
本篇使用成都到北京的航线进行测试。

Java开发

引入包

        <dependency>
		  <groupId>org.seleniumhq.selenium</groupId>
		  <artifactId>selenium-java</artifactId>
		</dependency>
	    <dependency>
		    <groupId>net.lightbody.bmp</groupId>
		    <artifactId>browsermob-core</artifactId>
		    <version>2.1.5</version>
		</dependency>
		<dependency>
		    <groupId>com.google.guava</groupId>
		    <artifactId>guava</artifactId>
		    <version> 22.0</version>
		</dependency>
		<dependency>
			<groupId>net.lightbody.bmp</groupId>
			<artifactId>browsermob-legacy</artifactId>
			<version>2.1.5</version>
		</dependency>

其中，selenium-java的作用即为动态数据获取，其他三个的作用是为了作为代理，获取到网页上没有显示但是接口返回的数据（版本必须对应，否则运行会报错）。

请求配置

去哪儿网做了反爬虫判断，如果直接打开chrome会一直加载中，不出来数据，所以需要增加下option的配置。

		System.setProperty("webdriver.chrome.driver",  "chromedriver的完整路径名称");
		
		ChromeOptions option = new ChromeOptions();
        option.addArguments("disable-infobars");
        List<Object> list=new ArrayList<>();
        list.add("enable-automation");
        option.setExperimentalOption("excludeSwitches",list);
        option.addArguments("--disable-blink-features", "--disable-blink-features=AutomationControlled");

添加代理

此步骤可选，代理的作用是可以拦截到所有网络请求，这样接口有但是界面上没有显示的数据也就可以得到了。

		BrowserMobProxy proxy = new BrowserMobProxyServer();
		proxy.start(0);
		proxy.enableHarCaptureTypes(CaptureType.REQUEST_CONTENT, CaptureType.RESPONSE_CONTENT);
		proxy.setHarCaptureTypes(CaptureType.RESPONSE_CONTENT);
		proxy.newHar("qunanr");
		Proxy seleniumProxy = ClientUtil.createSeleniumProxy(proxy);
		seleniumProxy.setHttpProxy("localhost:" + proxy.getPort());
		seleniumProxy.setSslProxy("localhost:" + proxy.getPort());
		proxy.addRequestFilter((request, contents, messageInfo) -> {
			System.out.println("这里拦截请求" + request.uri() + "###" + contents.getTextContents() + ">>>"
					+ request.headers().get("Cookie"));
			return null;
		});
		option.setProxy(seleniumProxy);
		option.setAcceptInsecureCerts(true);
		option.setExperimentalOption("useAutomationExtension", false);
		proxy.addResponseFilter((response, contents, messageInfo) -> {
			if (messageInfo.getUrl().contains("wbdflightlist")) {
				// 这个接口是机票列表详细信息，可解析后使用
				System.out.println(response.status() + ":" + response.headers().get("cookie") + ">>>"
						+ contents.getTextContents());
			}
		});

获取网页数据

		String url = "https://flight.qunar.com/site/oneway_list.htm?searchDepartureAirport=%E6%88%90%E9%83%BD&searchArrivalAirport=%E5%8C%97%E4%BA%AC&searchDepartureTime=2022-01-01&nextNDays=0&startSearch=true&fromCode=CTU&toCode=BJS&from=qunarindex&lowestPrice=null";
		WebDriver webDriver = new ChromeDriver(option);
		webDriver.get(url);
		List<WebElement> resultElements = webDriver.findElements(By.className("b-airfly"));
	    System.out.println(resultElements.size());
	    if (!resultElements.isEmpty()) {
	    	for(int i = 0; i < resultElements.size(); i++) {
	    		List<WebElement> nums = resultElements.get(i).findElements(By.className("num"));
	    		for(int j = 0; j < nums.size(); j++) {
	    			String text = nums.get(j).findElement(By.className("n")).getText();
		    		System.out.println((i+1) + "\t" + text);
	    		}
	    		
	    	}
	    }
		proxy.stop();
	    webDriver.quit();

其他

网页端的如果数据过多，会有分页显示，可以模拟对应操作。

// 点击按钮方式（非本网页数据，仅供方式参考）
webDriver.findElements(By.className(“list-getmore”)).get(0).click();
// 给某个控件赋值（非本网页数据，仅供方式参考）
webDriver.findElements(By.className(“list-getmore”)).get(0).sendKeys(“数值”);）

完整代码

	public static void main(String[] args) {
		System.setProperty("webdriver.chrome.driver", "/Users/admin/Documents/workspace/chromedriver");

		ChromeOptions option = new ChromeOptions();
		option.addArguments("disable-infobars");
		List<Object> list = new ArrayList<>();
		list.add("enable-automation");
		option.setExperimentalOption("excludeSwitches", list);
		option.addArguments("--disable-blink-features", "--disable-blink-features=AutomationControlled");

		BrowserMobProxy proxy = new BrowserMobProxyServer();
		proxy.start(0);
		proxy.enableHarCaptureTypes(CaptureType.REQUEST_CONTENT, CaptureType.RESPONSE_CONTENT);
		proxy.setHarCaptureTypes(CaptureType.RESPONSE_CONTENT);
		proxy.newHar("qunanr");
		Proxy seleniumProxy = ClientUtil.createSeleniumProxy(proxy);
		seleniumProxy.setHttpProxy("localhost:" + proxy.getPort());
		seleniumProxy.setSslProxy("localhost:" + proxy.getPort());
		proxy.addRequestFilter((request, contents, messageInfo) -> {
//			System.out.println("这里拦截请求" + request.uri() + "###" + contents.getTextContents() + ">>>"
//					+ request.headers().get("Cookie"));
			return null;
		});
		option.setProxy(seleniumProxy);
		option.setAcceptInsecureCerts(true);
		option.setExperimentalOption("useAutomationExtension", false);
		proxy.addResponseFilter((response, contents, messageInfo) -> {
			if (messageInfo.getUrl().contains("wbdflightlist")) {
				// 这个接口是机票列表详细信息，可解析后使用
//				System.out.println(response.status() + ":" + response.headers().get("cookie") + ">>>"
//						+ contents.getTextContents());
			}
		});

		String url = "https://flight.qunar.com/site/oneway_list.htm?searchDepartureAirport=%E6%88%90%E9%83%BD&searchArrivalAirport=%E5%8C%97%E4%BA%AC&searchDepartureTime=2022-01-01&nextNDays=0&startSearch=true&fromCode=CTU&toCode=BJS&from=qunarindex&lowestPrice=null";
		WebDriver webDriver = new ChromeDriver(option);
		webDriver.get(url);
		List<WebElement> resultElements = webDriver.findElements(By.className("b-airfly"));
	    System.out.println(resultElements.size());
	    if (!resultElements.isEmpty()) {
	    	for(int i = 0; i < resultElements.size(); i++) {
	    		List<WebElement> nums = resultElements.get(i).findElements(By.className("num"));
	    		for(int j = 0; j < nums.size(); j++) {
	    			String text = nums.get(j).findElement(By.className("n")).getText();
		    		System.out.println((i+1) + "\t" + text);
	    		}
	    		
	    	}
	    }
		proxy.stop();
	    webDriver.quit();

	}