![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
技术
文章平均质量分 63
code世界
穿透迷雾,找到方向
展开
-
基于jsoup的爬虫升级版
上篇文章基于html字符串截取模式的爬虫,在实际使用过程中存在较大的使用限制,为此简单研究了下基于jsoup模式的爬虫,相对于字符串截取,在实用性上也有很大的优势。至此,我们完成的爬虫代码的完整编写,接下来我们通过单元测试进行实际的操作。以下内容以电脑壁纸获取为例进行爬取。其中,FileDownload部分的代码可以自行编写,也可以参考本示例代码。以下是根据梳理的流程进行的对应编码信息。原创 2023-05-04 22:26:50 · 265 阅读 · 1 评论 -
java手把手教你做一只属于自己的小爬虫
爬虫的核心基本都是一样,获取信息->内容过滤->得到指定的数据结果。听起来很简单也很粗糙,究竟如何去完成呢,别急,我们以获取电影网站的电影下载地址为例手把手教你打造一个属于自己的简单小爬虫。(涉及https以及需要权限才能访问的爬虫暂不做讲解) 为了保证足够入门,没有使用httpclient包进行较为复杂的编写。 获取信息 顾名思义,就是首先我们要获取网页的静态源代码信息。下面我们以一个电影下载地址为例进行操作。 电影网站地址:http://www.ygdy8.net/html/g...原创 2020-11-24 10:16:52 · 306 阅读 · 0 评论