(1)首先创建maven项目
这就不多废话了。
(2)加入依赖包
<dependency> <groupId>org.jsoup</groupId> <artifactId>jsoup</artifactId> <version>1.8.3</version> </dependency>(3)爬取网页信息 这里以海投网为例。
@Test public void parseHtml()throws Exception { String url = "http://xjh.haitou.cc/sx"; Document document = Jsoup.connect(url).get();//连接发送get请求,并获取document对象 Element tboady = document.select("tbody").first();//获得body标签 Elements trs = tboady.select("tr"); for(Element tr : trs){//解析各种标签 Element title = tr.select("td[class$=cxxt-title]").first(); Element companyName = title.select("div").first(); String companyText = companyName.text(); Element schoolName = title.select("span").first(); String schoolText = schoolName.text(); Element timeAll = tr.select("td[class$=text-left cxxt-holdtime]").first(); Element dateTime = timeAll.select("span[class$=hold-ymd]").first(); String dateText = dateTime.text(); Element where = tr.select("td[class$=text-ellipsis]").first(); Element whereName = where.select("span").first(); String whereText = whereName.text(); System.out.println("公司名称:"+companyText+" 地点:"+schoolText+" "+whereText+" 时间:"+dateText); } }结果:公司名称:上海艮泰信息技术有限公司 地点:西农 就业指导中心招聘厅(南绣山活动中心内) 时间:2017-05-06 09:00
公司名称:上海交通大学密西根学院硕博士 地点:西工大 友谊校区友谊校区阶五 时间:2017-05-06 10:00
公司名称:攀枝花学院 地点:西工大 友谊校区阶五 时间:2017-05-06 14:00
公司名称:攀枝花学院 地点:西农 就业指导中心招聘厅(南绣山活动中心内) 时间:2017-05-07 10:00
公司名称:南昌航天科技集团有限公司暨广东应用科技学院 地点:西电 J-604 时间:2017-05-08 09:30
公司名称:广州市康正经济技术发展有限公司 地点:陕师 新勇中心(东)201 时间:2017-05-08 10:00
公司名称:陕西奥达教育投资有限公司 地点:西工院 未央校区教2-111 时间:2017-05-08 10:00
公司名称:广州市康正经济技术发展有限公司 地点:建大 南阶206 时间:2017-05-08 10:00
公司名称:劲博教育 地点:陕科大 招聘大厅一(教学楼4C-607) 时间:2017-05-08 10:00
公司名称:西安艮泰信息技术有限公司 地点:交大 就创中心204室 时间:2017-05-08 10:10
公司名称:广东省汕尾市信利集团 地点:陕师 新勇中心(东)203 时间:2017-05-08 10:30
公司名称:河北致远通用航空公司 地点:理工大 教2-200 时间:2017-05-08 10:30
公司名称:中国石油天然气第一建设有限公司 地点:西工院 未央校区教2-111 时间:2017-05-08 14:00
公司名称:开源证券股份有限公司 地点:西外 活动中心302室 时间:2017-05-08 14:00
公司名称:渭南鼎信创新智造科技有限公司 地点:陕科大 招聘大厅一(教学楼4C-607) 时间:2017-05-08 14:00
公司名称:南昌航天科技集团有限公司暨广东应用科技学院(筹) 地点:西工大 友谊校区友谊校区阶五 时间:2017-05-08 14:00
公司名称:青岛鹏腾国际经济技术合作有限公司 地点:西工程 临潼校区就创业中心第二宣讲室(人文管理楼215室) 时间:2017-05-08 14:00
公司名称:陕西省设备安装工程有限公司 地点:理工大 教2-200 时间:2017-05-08 14:30
公司名称:海南航空学校 地点:建大 南阶103 时间:2017-05-08 14:30
公司名称:西安皇家人装饰工程有限公司 地点:西农 就业指导中心报告厅(南绣山活动中心内) 时间:2017-05-08 15:00
(4)附上文件以供参考jsoup的使用方法
http://www.open-open.com/jsoup/