![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
WebCollector
水木寒_
这个作者很懒,什么都没留下…
展开
-
WebCollector爬虫学习记录(一)
一、爬取国际石油网知识板块要爬取的网站为:http://oil.in-en.com/zhishi/网站结构比较标准,新闻列表页单一且包含href链接,下一页链接等信息1.1 添加种子 }else if (crawler.webMoudle == 38) { if (crawler.mk.equals("Sybk")) { /* 起始页 */ crawl...2017-03-11 16:42:51 · 190 阅读 · 0 评论 -
WebCollector学习笔记(二)jsoup的小记
一、jsoup抽取信息的时候用到了jsoup。下面简单记录下jsoup的使用心得http://www.open-open.com/jsoup/selector-syntax.htm1.1 jsoup选择器标签指定id <div class="list_left"> <div id="content">正文部分正文部分正文部分正文部分&l...2017-03-11 20:56:27 · 123 阅读 · 0 评论