将HtmlUnit爬虫框架与SpringBoot整合后遇到一个错误，表现为部分网页无法爬取。排查过程中，尝试解决动态网页获取、检查jar包冲突和日志系统冲突。最终发现是由于日志框架的冲突，通过移除SpringBoot默认的logback并使用自定义日志系统解决了问题。此外，类似问题也可能出现在与其他组件如Jalopy的整合中，通过将第三方库放在lib目录并调整加载顺序可解决。
使用爬虫框架htmlunit整合springboot不兼容的一个问题
本来使用htmlunit爬虫爬取数据非常正常好用，之前一直是直接java程序或者整合Javaswing界面，都没有问题，但是后来整合springboot变成BS架构之后，同样的代码却报错，报错信息如下：
这个错误很常见，网上搜索得到的答案也千篇一律，就是解决动态网页的获取问题，添加对js的支持，但是我的代码单独运行时没有问题的，而且也并不是爬取所有的网页都有这个错误，只是有些无法爬取，这个问题困扰了我好久，隐约觉得不是网上说的那种原因，是别的的未知原因引发了这个错误，那最有可能的原因就是跟整合springboot有关系，没办法，重新创建一个最简单的springboot项目，整合好htmlunit一个个排查，发现依然如此，可以肯定是因为整合了springboot，那接着排查是否是jar包冲突，按理说jar冲突会报错提醒，但是却没有相关的冲突报错信息，后来想到使用htmlunit时需要log4j的支持，否则也会报错&#
最低0.47元/天 解锁文章
扫一扫
2648
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
