大数据爬虫
雨后d夏天
这个作者很懒,什么都没留下…
展开
-
java原生爬虫(jsoup)
原生爬虫运用的技术主要是文本(document)节点(element)的选择 这次我爬虫的是政府采购网的采购公告(直接上代码) 采购公告列表地址:http://www.hngp.gov.cn/henan/ggcx?appCode=H60&channelCode=0101&pageSize=20 在图片上我们看到采购公告以列表的形式展示,这时按 F12 我们打开开发者工具 我们找...原创 2019-09-12 09:07:07 · 499 阅读 · 0 评论 -
java jsoup 网站爬虫(2)
上篇文章写过jsoup爬虫,感觉写的不太深入,之后有学习的下。 公司让写一个网站爬虫,之前没咋接触过,翻着前辈们的资料看了看,感觉jsoup写着适合入门学者。代码我会放在后面云盘上,有需要的童鞋可以自行下载。 以河南政府采购网为例:http://www.hngp.gov.cn 先说下项目步骤: 1.爬虫列表获取列表中a标签的url,进入详情页面 2.爬取详情页面所需要的信息:标题、发布机构、发布人...原创 2019-09-19 11:51:52 · 129 阅读 · 0 评论