java自动化爬取数据

懒惰才是人类进步的根本原因。所以越来越多的自动化出现了。

这几天因为工作有了新的需求。需要手动去搜集一些数据。

于是灵机一动 那么多的数据我人工做死了也得够一找。。。

找了一下 java其实也可以爬取页面数据。于是就说干就干 省了一大笔人工做了个自动去找数据。下面跟大家讲讲步骤把。

首先引入了jsoup这个jar。我用的是maven 就把maven得引入发出来把。

<dependency>
			<groupId>org.jsoup</groupId>
			<artifactId>jsoup</artifactId>
			<version>1.7.3</version>
		</dependency>

引用方式也很简单。大家可以自己转换成string做字符串截取。也可以直接找

Document里面的属性。看自己的爱好了。

String url="https://***.***.com/item;
            Document doc = Jsoup.connect(url).timeout(10*1000).get();
            String s=doc.toString();

然后找到了你需要的数据之后。。。。进行找一些接口调用或者定时任务加点什么东西就因项目而定了。。。。

具体的一些东西涉及到自己做的项目也不好发 大家可以自由发挥~