在如今这个大数据时代,最重要的是什么?
当然是数据,那么问题来了,数据从何而来?
本章就我个人爬取数据的经历来给大家讲讲如何爬取特殊网站-云锁机制。
个人前不久准备爬取数据,之前从没接触过爬取数据,然后我在网上百度了一下(java如何爬取网页数据),我就找了很多,然后就写了一个简单的爬取程序,用的是java,在这里,读者可能问了,为什么不用python呢?(其实个人是从事java开发的,python是在我java不能实现的时候,我才会考虑),使用了jsoup,大家可以去这里下载使用(http://download.csdn.net/detail/qq_32933131/9886841)。代码如下:
org.jsoup.nodes.Document doc = null;
Connection con = null;
// 连接
con = Jsoup