java爬虫

1.爬某张网页

利用Url，UrlConnection打开页面，通过匹配正则找到自己想要的数据，输出到文档

2.利用HtmlUnitDriver类库

maven依赖

<dependency>
    <groupId>org.seleniumhq.selenium</groupId>
    <artifactId>selenium-server</artifactId>
    <version>3.13.0</version>
</dependency>

初始化

WebDriver webDriver = new HtmlUnitDriver();

通过调用api方法对页面进行操作，找到自己想要的数据

 

关于Api  可参考
https://blog.csdn.net/yjlch1016/article/details/78115813

 

爬爬小网站，都不会有广告了