HtmlUnit 爬虫简单案例——模拟登陆CSDN

最新推荐文章于 2023-04-10 12:06:20 发布

执笔记忆的空白

最新推荐文章于 2023-04-10 12:06:20 发布

阅读量4.6k

点赞数 4

分类专栏：个人心得随笔记录

本文链接：https://blog.csdn.net/moneyshi/article/details/78799949

版权

本文介绍了使用HtmlUnit进行模拟登录CSDN的简单案例，强调了CSDN登录过程中JavaScript加载时间长的问题，提醒爬虫开发者避免以此为练习目标。

摘要由CSDN通过智能技术生成

最近要弄一个爬虫程序，想着先来个简单的模拟登陆，在权衡JxBrowser和HtmlUnit 两种技术， JxBowser有界面呈现效果，但是对于某些js跳转之后的效果获取比较繁琐。

随后考虑用HtmlUnit，想着借用咱们CSND的登陆练练手。谁知道CSDN的登陆，js加载时间超长，不设置长一点的加载时间，按钮提交根本没效果，js没生效。具体看代码注释吧。奉劝做爬虫的同志们，千万别用CSDN登陆练手，坑死我了。。。

maven配置如下：

	<dependencies>
		<!-- https://mvnrepository.com/artifact/net.sourceforge.htmlunit/htmlunit -->
		<dependency>
			<groupId>net.sourceforge.htmlunit</groupId>
			<artifactId>htmlunit</artifactId>
			<version>2.18</version>
		</dependency>
		<!-- https://mvnrepository.com/artifact/org.jsoup/jsoup -->
		<dependency>
			<groupId>org.jsoup</groupId>
			<artifactId>jsoup</artifactId>
			<version>1.9.2</version>