第1节---分别用HttpURLConnection和HttpClient爬取百度首页

本节教程介绍了如何使用Java的HttpURLConnection和HttpClient库爬取百度首页的源代码。首先,讲解了HttpURLConnection作为JDK内置的HTTP连接工具,以及HttpClient作为一个功能更丰富的第三方库。虽然两者都能完成任务,但后续将主要使用HttpClient进行更深入的爬虫开发。文章还提供了GET访问的简单示例,并提示将在下节中抓取并下载百度LOGO图片。
摘要由CSDN通过智能技术生成

我们的第一节,抽取百度页面源码,分别使用HttpURLConnection和HttpClient实现。

为什么要用两种方式。

HttpURLConnection来自于jdk,它的完整名称为:java.net.HttpURLConnection HttpURLConnection类,没有公开的构造方法,但我们可以通过java.net.URL的openConnection方法获取一个URLConnection的实例,而HttpURLConnection是它的子类。

 JDK 的 java net包中已经提供了访问 HTTP 协议的基本功能,但是对于大部分应用程序来说,JDK 库本身提供的功能还不够丰富和灵活。HttpClient 是 Apache Jakarta Common 下的子项目,用来提供高效的、最新的、功能丰富的支持 HTTP 协议的客户端编程工具包,并且它支持 HTTP 协议最新的版本和建议。

后面我们将以httpclient为主来介绍爬虫。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值