hyfsoar的博客

自学Java网络爬虫-Day2文章目录自学Java网络爬虫-Day2Jsoup1.Jsoup介绍2.加入依赖3.第一个Test（解析url）4.第二个Test（解析字符串）5.第三个Test（解析文件）6.第四个Test（使用dom方式遍历文档）7.第五个Test（使用选择器语）8.第六个Test（Selector选择器概述）9.第七个Test（Selector选择器组合使用）第一天主要介绍的是HttpClient的相关内容，它的作用是来抓取页面。但是抓取之后必须进行解析才能获得我们想要的信息，今天学

自学Java网络爬虫-Day1网络爬虫网络爬虫（web crawler）是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。从功能上来讲，爬虫分为采集、处理、储存。从一个或若干初始网页URL开始，不断抽取新的URL放入队列，直到满足停止条件。学习网络爬虫的原因：实现私人搜索引擎。获取更多数据源。进行大数据分析或数据挖掘时，从数据统计网站或文献资料获取很难满足需求。进行搜索引擎优化（SEO）。利于就业。入门程序1. 环境准备JDK1.8IntelliJ IDEA配置好的