jsoup 抓取网页数据

jsoup 抓取赶集网 页面所有会计 电话

jsoup的Element类

http://blog.csdn.net/u010142437/article/details/18802873

java代理实现爬取代理IP

http://blog.csdn.net/sdfiiiiii/article/details/70432060

JAVA解析html标签

http://blog.csdn.net/shinecookie/article/details/50442007

java 获取网页源代码

http://blog.csdn.net/honglei_zh/article/details/8537394

需求： 通过代码获取赶集网所有会计电话

环境：

第一部分数据：

第二部分数据：

思路：

1.首先通过jsoup获取网站数据

2.页面数据分为两部分 一部分可直接获取到电话，另外一部分数据是js 加载完成之后的，所以不能直接通过jsoup获取到想要的电话。

3.通过java代码获取到网页源代码 ，解析html 获取所有a标签 通过超链接获取到第二部分的数据

4.所有的数据获取完之后，但是网站可能会有超时的情况，所以需要用到java 代理IP

5.参考jousp API

感谢前辈们提供的方法，以及网站提供的数据

源码地址：

链接：https://pan.baidu.com/s/1c1VB5Ws 密码：remb