qq_52128206的博客

原创 爬虫基本理论

2、底层原理 爬虫程序是依据JDK里的URLConnection向网络发送请求，但使用URLConnection是非常复杂的，因此使用爬虫框架来对URLConnection进行一个封装，其中HttpClient和Jsoup是一个非常简单易用的框架。HttpClient是apache组织下面的一个用于处理HTTP请求和响应的来源工具，是一个在JDK基础类库是做了更好的封装的类库。爬虫流程 爬虫程序获得URL地址→爬虫程序根据URL访问网络→网络返回HTML源代码给爬虫程序。3、HttpClient简介。