springboot整合selenium实现页面数据爬取，两个问题记录

最新推荐文章于 2024-03-15 18:59:07 发布
最新推荐文章于 2024-03-15 18:59:07 发布
阅读量832 收藏 3
点赞数 2
分类专栏： 问题解决 文章标签： selenium spring boot
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/dyp723/article/details/132294696
版权

1.控制台出现 Only local connections are allowed.的提示

  这表示只允许本地访问，不允许远程访问

 解决办法：

系统属性添加参数

System.setProperty("webdriver.chrome.whitelistedIps", "");

重启系统之后，就会出现如下提示，可以允许远程访问

2.出现如下报错，表示无法跨域

2023-08-15 11:09:46.710  WARN 2516 --- [cHttpClient-1-4] o.openqa.selenium.remote.http.WebSocket  : Invalid Status code=403 text=Forbidden

java.io.IOException: Invalid Status code=403 text=Forbidden
	at org.asynchttpclient.netty.handler.WebSocketHandler.abort(WebSocketHandler.java:92) [async-http-client-2.12.3.jar:na]
	at org.asynchttpclient.netty.handler.WebSocketHandler.handleRead(WebSocketHandler.java:118) [async-http-client-2.12.3.jar:na]
	at org.asynchttpclient.netty.handler.AsyncHttpClientHandler.channelRead(AsyncHttpClientHandler.java:78) [async-http-client-2.12.3.jar:na]
	at io.netty.channel.AbstractChannelHandlerContext.invokeChannelRead(AbstractChannelHandlerContext.java:444) [netty-transport-4.1.94.Final.jar:4.1.94.Final]
	at io.netty.channel.AbstractChannelHandlerContext.invokeChannelRead(AbstractChannelHandlerContext.java:420) [netty-transport-4.1.94.Final.jar:4.1.94.Final]
	at io.netty.channel.AbstractChannelHandlerContext.fireChannelRead(AbstractChannelHandlerContext.java:412) [netty-transport-4.1.94.Final.jar:4.1.94.Final]
	at io.netty.channel.CombinedChannelDuplexHandler$DelegatingChannelHandlerContext.fireChannelRead(CombinedChannelDuplexHandler.java:436) [netty-transport-4.1.94.Final.jar:4.1.94.Final]
	at io.netty.handler.codec.ByteToMessageDecoder.fireChannelRead(ByteToMessageDecoder.java:346) [netty-codec-4.1.94.Final.jar:4.1.94.Final]
	at io.netty.handler.codec.ByteToMessageDecoder.fireChannelRead(ByteToMessageDecoder.java:333) [netty-codec-4.1.94.Final.jar:4.1.94.Final]
	at io.netty.handler.codec.ByteToMessageDecoder.callDecode(ByteToMessageDecoder.java:454) [netty-codec-4.1.94.Final.jar:4.1.94.Final]
	at io.netty.handler.codec.ByteToMessageDecoder.channelRead(ByteToMessageDecoder.java:290) [netty-codec-4.1.94.Final.jar:4.1.94.Final]
	at io.netty.channel.CombinedChannelDuplexHandler.channelRead(CombinedChannelDuplexHandler.java:251) [netty-transport-4.1.94.Final.jar:4.1.94.Final]
	at io.netty.channel.AbstractChannelHandlerContext.invokeChannelRead(AbstractChannelHandlerContext.java:442) [netty-transport-4.1.94.Final.jar:4.1.94.Final]
	at io.netty.channel.AbstractChannelHandlerContext.invokeChannelRead(AbstractChannelHandlerContext.java:420) [netty-transport-4.1.94.Final.jar:4.1.94.Final]
	at io.netty.channel.AbstractChannelHandlerContext.fireChannelRead(AbstractChannelHandlerContext.java:412) [netty-transport-4.1.94.Final.jar:4.1.94.Final]
	at io.netty.channel.DefaultChannelPipeline$HeadContext.channelRead(DefaultChannelPipeline.java:1410) [netty-transport-4.1.94.Final.jar:4.1.94.Final]
	at io.netty.channel.AbstractChannelHandlerContext.invokeChannelRead(AbstractChannelHandlerContext.java:440) [netty-transport-4.1.94.Final.jar:4.1.94.Final]
	at io.netty.channel.AbstractChannelHandlerContext.invokeChannelRead(AbstractChannelHandlerContext.java:420) [netty-transport-4.1.94.Final.jar:4.1.94.Final]
	at io.netty.channel.DefaultChannelPipeline.fireChannelRead(DefaultChannelPipeline.java:919) [netty-transport-4.1.94.Final.jar:4.1.94.Final]
	at io.netty.channel.nio.AbstractNioByteChannel$NioByteUnsafe.read(AbstractNioByteChannel.java:166) [netty-transport-4.1.94.Final.jar:4.1.94.Final]
	at io.netty.channel.nio.NioEventLoop.processSelectedKey(NioEventLoop.java:788) [netty-transport-4.1.94.Final.jar:4.1.94.Final]
	at io.netty.channel.nio.NioEventLoop.processSelectedKeysOptimized(NioEventLoop.java:724) [netty-transport-4.1.94.Final.jar:4.1.94.Final]
	at io.netty.channel.nio.NioEventLoop.processSelectedKeys(NioEventLoop.java:650) [netty-transport-4.1.94.Final.jar:4.1.94.Final]
	at io.netty.channel.nio.NioEventLoop.run(NioEventLoop.java:562) [netty-transport-4.1.94.Final.jar:4.1.94.Final]
	at io.netty.util.concurrent.SingleThreadEventExecutor$4.run(SingleThreadEventExecutor.java:997) [netty-common-4.1.94.Final.jar:4.1.94.Final]
	at io.netty.util.internal.ThreadExecutorMap$2.run(ThreadExecutorMap.java:74) [netty-common-4.1.94.Final.jar:4.1.94.Final]
	at io.netty.util.concurrent.FastThreadLocalRunnable.run(FastThreadLocalRunnable.java:30) [netty-common-4.1.94.Final.jar:4.1.94.Final]
	at java.lang.Thread.run(Thread.java:750) [na:1.8.0_352]

org.openqa.selenium.remote.http.ConnectionFailedException: Unable to establish websocket connection to http://localhost:51905/devtools/browser/b02f8cda-4e64-40ef-9594-cc541eeaa4b9
Build info: version: '4.1.4', revision: '535d840ee2'
System info: host: 'MacBook-Pro.local', ip: 'fe80:0:0:0:47c:ad56:f577:2c13%en0', os.name: 'Mac OS X', os.arch: 'aarch64', os.version: '13.4.1', java.version: '1.8.0_352'
Driver info: driver.version: ChromeDriver
	at org.openqa.selenium.remote.http.netty.NettyWebSocket.<init>(NettyWebSocket.java:102)
	at org.openqa.selenium.remote.http.netty.NettyWebSocket.lambda$create$3(NettyWebSocket.java:128)
	at org.openqa.selenium.remote.http.netty.NettyClient.openSocket(NettyClient.java:105)
	at org.openqa.selenium.devtools.Connection.<init>(Connection.java:77)
	at org.openqa.selenium.chromium.ChromiumDriver.lambda$new$2(ChromiumDriver.java:124)
	at java.util.Optional.map(Optional.java:215)
	at org.openqa.selenium.chromium.ChromiumDriver.<init>(ChromiumDriver.java:122)
	at org.openqa.selenium.chrome.ChromeDriver.<init>(ChromeDriver.java:106)
	at org.openqa.selenium.chrome.ChromeDriver.<init>(ChromeDriver.java:93)
	at org.openqa.selenium.chrome.ChromeDriver.<init>(ChromeDriver.java:82)
	at com.bonc.ajkcraw.utils.ChromeDriverUtil.initDriver(ChromeDriverUtil.java:26)
	at com.bonc.ajkcraw.controller.AjkInfoController.list1(AjkInfoController.java:36)
	at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
	at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
	at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
	at java.lang.reflect.Method.invoke(Method.java:498)
	at org.springframework.web.method.support.InvocableHandlerMethod.doInvoke(InvocableHandlerMethod.java:205)
	at org.springframework.web.method.support.InvocableHandlerMethod.invokeForRequest(InvocableHandlerMethod.java:150)
	at org.springframework.web.servlet.mvc.method.annotation.ServletInvocableHandlerMethod.invokeAndHandle(ServletInvocableHandlerMethod.java:117)
	at org.springframework.web.servlet.mvc.method.annotation.RequestMappingHandlerAdapter.invokeHandlerMethod(RequestMappingHandlerAdapter.java:895)
	at org.springframework.web.servlet.mvc.method.annotation.RequestMappingHandlerAdapter.handleInternal(RequestMappingHandlerAdapter.java:808)
	at org.springframework.web.servlet.mvc.method.AbstractHandlerMethodAdapter.handle(AbstractHandlerMethodAdapter.java:87)
	at org.springframework.web.servlet.DispatcherServlet.doDispatch(DispatcherServlet.java:1072)
	at org.springframework.web.servlet.DispatcherServlet.doService(DispatcherServlet.java:965)
	at org.springframework.web.servlet.FrameworkServlet.processRequest(FrameworkServlet.java:1006)
	at org.springframework.web.servlet.FrameworkServlet.doGet(FrameworkServlet.java:898)
	at javax.servlet.http.HttpServlet.service(HttpServlet.java:529)
	at org.springframework.web.servlet.FrameworkServlet.service(FrameworkServlet.java:883)
	at javax.servlet.http.HttpServlet.service(HttpServlet.java:623)
	at org.apache.catalina.core.ApplicationFilterChain.internalDoFilter(ApplicationFilterChain.java:209)
	at org.apache.catalina.core.ApplicationFilterChain.doFilter(ApplicationFilterChain.java:153)
	at org.apache.tomcat.websocket.server.WsFilter.doFilter(WsFilter.java:51)
	at org.apache.catalina.core.ApplicationFilterChain.internalDoFilter(ApplicationFilterChain.java:178)
	at org.apache.catalina.core.ApplicationFilterChain.doFilter(ApplicationFilterChain.java:153)
	at org.springframework.web.filter.RequestContextFilter.doFilterInternal(RequestContextFilter.java:100)
	at org.springframework.web.filter.OncePerRequestFilter.doFilter(OncePerRequestFilter.java:117)
	at org.apache.catalina.core.ApplicationFilterChain.internalDoFilter(ApplicationFilterChain.java:178)
	at org.apache.catalina.core.ApplicationFilterChain.doFilter(ApplicationFilterChain.java:153)
	at org.springframework.web.filter.FormContentFilter.doFilterInternal(FormContentFilter.java:93)
	at org.springframework.web.filter.OncePerRequestFilter.doFilter(OncePerRequestFilter.java:117)
	at org.apache.catalina.core.ApplicationFilterChain.internalDoFilter(ApplicationFilterChain.java:178)
	at org.apache.catalina.core.ApplicationFilterChain.doFilter(ApplicationFilterChain.java:153)
	at org.springframework.web.filter.CharacterEncodingFilter.doFilterInternal(CharacterEncodingFilter.java:201)
	at org.springframework.web.filter.OncePerRequestFilter.doFilter(OncePerRequestFilter.java:117)
	at org.apache.catalina.core.ApplicationFilterChain.internalDoFilter(ApplicationFilterChain.java:178)
	at org.apache.catalina.core.ApplicationFilterChain.doFilter(ApplicationFilterChain.java:153)
	at org.apache.catalina.core.StandardWrapperValve.invoke(StandardWrapperValve.java:167)
	at org.apache.catalina.core.StandardContextValve.invoke(StandardContextValve.java:90)
	at org.apache.catalina.authenticator.AuthenticatorBase.invoke(AuthenticatorBase.java:481)
	at org.apache.catalina.core.StandardHostValve.invoke(StandardHostValve.java:130)
	at org.apache.catalina.valves.ErrorReportValve.invoke(ErrorReportValve.java:93)
	at org.apache.catalina.core.StandardEngineValve.invoke(StandardEngineValve.java:74)
	at org.apache.catalina.connector.CoyoteAdapter.service(CoyoteAdapter.java:343)
	at org.apache.coyote.http11.Http11Processor.service(Http11Processor.java:390)
	at org.apache.coyote.AbstractProcessorLight.process(AbstractProcessorLight.java:63)
	at org.apache.coyote.AbstractProtocol$ConnectionHandler.process(AbstractProtocol.java:926)
	at org.apache.tomcat.util.net.NioEndpoint$SocketProcessor.doRun(NioEndpoint.java:1791)
	at org.apache.tomcat.util.net.SocketProcessorBase.run(SocketProcessorBase.java:52)
	at org.apache.tomcat.util.threads.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1191)
	at org.apache.tomcat.util.threads.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:659)
	at org.apache.tomcat.util.threads.TaskThread$WrappingRunnable.run(TaskThread.java:61)
	at java.lang.Thread.run(Thread.java:750)
2023-08-15 11:09:46.723 ERROR 2516 --- [nio-8090-exec-2] o.a.c.c.C.[.[.[/].[dispatcherServlet]    : Servlet.service() for servlet [dispatcherServlet] in context with path [] threw exception [Request processing failed; nested exception is java.lang.NullPointerException] with root cause

解决办法：

ChromeOptions类添加允许跨域的参数，问题解决

ChromeOptions chromeOptions = new ChromeOptions();
        chromeOptions.addArguments("--remote-allow-origins=*");

dyp723
关注
  • 2
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
java+selenium实现自动化打开页面的方法
08-27
今天小编就为大家分享一篇java+selenium实现自动化打开页面的方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
Springboot+Selenium+TestNg登录功能
汤姆是只猫
04-05 631
Springboot+Selenium登录功能 一、Springboot+Selenium+testNg框架搭建 1.配置依赖 org.springframework.boot spring-boot-starter spring-context org.springframework org.springframework.boot spring-boot-starter-test test org.projectlombok lombok true org.springframe
Java使用Selenium实现自动化测试以及全功能爬虫
最新发布
心比天高，仗剑走天涯，保持热爱，奔赴向梦想！
03-15 1411
工作中需要抓取一下某音频网站的音频，我就用了两个小时学习弄了一下，竟然弄出来，这里分享记录一下。springboot项目 + Selenium。
基于JAVA Seleium 的自动化测试
tang_seven的博客
07-21 306
基于java selenium的自动化测试简单实现。
springboot集成webmagic和selenium，并部署到linux（问题坑）
qq_36249132的博客
04-23 1266
springboot集成webmagic和selenium，并部署到linux
spring boot整合selenium
weixin_45136521的博客
11-17 3811
加入maven依赖 <!-- selenium-java --> <dependency> <groupId>org.seleniumhq.selenium</groupId> <artifactId>selenium-java</artifactId> <version>${selenium.version}</version&gt.
SpringBoot整合Selenium
冰点契约的博客
05-03 3015
SpringBoot整合Selenium package com.vmware.config; import lombok.Data; import lombok.extern.slf4j.Slf4j; import org.openqa.selenium.WebDriver; import org.openqa.selenium.chrome.ChromeDriver; import org.openqa.selenium.chrome.ChromeOptions; import org.springf
Selenium自动化chrome驱动版本匹配但是调用浏览器失败：Only local connections are allowed. 问题解决
小蓝枣的博客
02-26 5014
第一次发现这种情况，驱动版本完全对的上，但是调用 chrome 就提示 Only local connections are allowed. 然后浏览器调用失败报错。 解决方法： 调用 chrome 驱动的时候加个参数 --whitelisted-ips=""，值为空就是把所有调入来源都加入白名单。 ips 的全称是 intrusion prevention system，解释为入侵防御系统。
使用SpringBoot + selenium-java 做爬虫
JustHaveTry的专栏
05-09 6738
题记 最近发现了springboot本身就集成了selenium-java ，就拿来研究了一下，分布式爬虫是很大的一个架构，也比较复杂，没做研究，还是对爬虫的客户端实现有点兴趣，就想着用java做一个小爬虫客户端，其实selenium是做测试的，不过来拿来做小爬虫还是不错的，能真实模拟用户，不用担心异步加载爬取不到，还有一些元素获取不方便，更值得一提的是selenium-java 提供的元素获取的...
一个奇怪的问题Only local connections are allowed.
yinshuilan的专栏
11-16 1879
在cmd中运行“chromedriver.exe --verbose --whitelisted-ips=''”如果直接从代码本地使用 ChromeDriver，只需在 ChromeDriver init 之前插入以下行。这个参数需要注入 chromedriver exe，而不是 chrome。“白名单允许远程连接”这似乎有效，但我无法弄清楚我在代码中怎么使用。我想要能够通过远程打开 chrome 浏览器进入 url 的解决方案。或 docker 通过传递 JAVA_OPTS env。
selenium Only local connections are allowed
热门推荐
瓜皮康的博客
06-26 2万+
selenium红字，Only local connections are allowed selenium踩过的一个坑，Only local connections are allowed，百度了半天没找着 public WebDriver getChrome(){ System.setProperty("webdriver.chrome.driver","/Users/guap...
Python selenium爬取微博数据代码实例
12-17
爬取某人的微博数据，把某人所有时间段的微博数据都爬下来。 具体思路： 创建driver—–get网页—-找到并提取信息—–保存csv—-翻页—-get网页（开始循环）—-…—-没有“下一页”就结束， 用了while True，没用自我调用函数 嘟大海的微博：https://weibo.com/u/1623915527 办公室小野的微博：https://weibo.com/bgsxy 代码如下 from selenium import webdriver from selenium.webdriver.common.keys import Keys import csv import
Java+spring boot+selenium+testng+reportng
12-24
需要安装的工具idea jdk1.8 (mysql,navicat) chromedriver_win32 如果看Java包，就是spring boot+mybatis+mysql的一个Java开发架构 http://localhost:8080/user/list 如果看test包，就是用Java+spring boot+selenium+testng+reportng搭的一个测试架构 http://localhost:63342/demo/test-output/html/index.html
selenium爬取腾讯新闻feiyan页面实时数据
12-21
前面已经写了两篇，都是用requests爬取页面，之前腾讯提供的接口用的json解析内容，丁香园则是直接用BeautifulSoup。 requests+json爬取腾讯新闻feiyan实时数据并实现持续更新 requests+bs4爬取丁香园feiyan实时数据...
使用selenium webdriver启动浏览器爬取网站数据
01-21
前段时间有个数据源网站突然更新，原本通过websocket爬取的数据突然就gg了。没得办法，只能用最原始的方法来爬取想要的数据了。爬取过不少的网站数据，这里不对爬虫合理合法性做讨论。纯粹分享我知道的一点点技术 ...
Selenium + SpringBoot自动化测试入门
li277的博客
06-17 9730
Selenium + SpringBoot自动化测试入门前言核心依赖配置创建Webdriver，DriverService类Page类测试类总结 前言 最近在学习spring，觉得也可以将spring运用到测试中。下面是一个简单的应用，不包含全部源码。 核心依赖 <!--springboot父项目--> <parent> <groupId&gt...
使用Selenium进行Spring Boot集成测试
最佳 Java 编程
05-27 879
Web集成测试允许对Spring Boot应用程序进行集成测试，而无需进行任何模拟。 通过使用@WebIntegrationTest和@SpringApplicationConfiguration我们可以创建加载应用程序并在普通端口上侦听的测试。 Spring Boot的这一小增加使使用Selenium WebDriver创建集成测试变得更加容易。 测试依赖 我们将要测试的应用程序是一个...
spring boot集成selenium，chromedriver 自动化测试 报错Lcom/google/common/util/concurrent/SimpleTimeLimiter
qq_43898141的博客
02-11 1596
<!--selenium 浏览器测试--> <dependency> <groupId>org.seleniumhq.selenium</groupId> <artifactId>selenium-java</artifactId> <version>3.4.0</version> </dependen.
请问chromedriver只允许本地连接怎么解决？
m0_66988204的博客
06-04 4682
浏览器无法打开chromedriver
如何用selenium实现多线程爬取动态页面
06-07
使用 Selenium 实现多线程爬取动态页面是一种比较常见的方式，下面是一个基本的示例代码，供您参考： ```python from selenium import webdriver from threading import Thread class MyThread(Thread): def __init__(self, url): Thread.__init__(self) self.url = url def run(self): driver = webdriver.Chrome() driver.get(self.url) # 在此处编写爬取动态页面的代码 driver.quit() urls = ['https://www.example.com/page1', 'https://www.example.com/page2', 'https://www.example.com/page3'] threads = [] for url in urls: thread = MyThread(url) thread.start() threads.append(thread) for thread in threads: thread.join() ``` 在上面的代码中，我们创建了一个 `MyThread` 类，继承自 `Thread` 类，用于实现多线程操作。在 `run` 方法中，我们创建了一个 `webdriver.Chrome()` 对象，打开指定的 URL，然后编写爬取动态页面的代码。在主程序中，我们创建了多个线程对象，分别传入不同的 URL，然后启动线程并加入到线程列表中，最后使用 `join` 方法等待所有线程执行完毕。 需要注意的是，这里仅仅提供了一个基本的示例代码，实际应用中还需要根据具体的需求进行适当的修改和优化。同时，多线程爬取动态页面也需要考虑到网站的反爬机制，遵守爬虫规则，以免被禁止访问。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值