java爬虫
LittleSunlight
希望能够好好的学习技术
展开
-
java爬虫
最近对爬虫突然有了兴趣,又因为是主学java的,所以就去找一些资源来学习一下,结果发现关于java爬虫的资源很少,也可能是我找的比较少吧。我看的视频是腾讯课堂上的一个视频叫“大数据java爬虫”,他的这个课堂是一个叫海集数据的网站提供的,你们也可以去他们的这个网站看看http://www.haijidata.com/![在这里插入图片描述](https://img-blog.csdnimg....原创 2019-05-21 21:20:01 · 222 阅读 · 0 评论 -
java爬虫原理及策略
一、java爬虫的步骤主要是:非结构化数据–>数据采集–>数据清洗–>结构化数据–>采集存储1.结构化数据:一般指的是在数据库中存储的数据,有着一定的逻辑与物理结构2.非结构化数据:相对于结构化数据,非结构化数据是不方便使用数据库二维逻辑来表现的数据,例如:音频,视频,web数据(html,xml)等。3.数据采集(1)数据采集的时候遵循一个协议–robots协议...原创 2019-05-22 17:24:29 · 1073 阅读 · 0 评论 -
java爬虫之Xpath
下面我们来了解一下Xpath。Xpath是xml路径语言,他是可以用来确定xml文档中某部分的位置的一种语言。他基于xml的树状结构,提供在数据结构树种寻找结点的能力。大家可以去下面的链接去学一下Xpath,很简单的,就是一种寻找文档元素、节点位置的语言。Xpath语法如果大家已经了解了xpath语言,下面我给大家一个插件吧,就是XPath Helper,大家下载完后,打开谷歌的扩展程序,...原创 2019-05-23 15:05:03 · 1421 阅读 · 0 评论