一、前言
把一篇图文并茂的优秀文章全部爬取下来,就少不了 Java 爬虫里边的 图片爬取 技术了。很多人都用来爬取美女图片,但是笔者觉得这有伤大雅。下面笔者使用它来爬取 CSDN 【今日推荐】文章附带的图片
二、代码、依赖
笔者对本代码经过多次修订,逻辑可以说是最简单的了,但性能上可能就算不上是最优的了,基本用法都注释在代码里边,该注意的地方都打 ✔ 了
①目录
(使用 SpringBoot 创建的工程,当然也可以使用 Java Project、web Project、Maven Project)
② 代码
package com.cun.test;
import java.io.File;
import java.io.IOException;
import java.io.InputStream;
import org.apache.commons.io.FileUtils;
import org.apache.http.HttpEntity;
import org.apache.http.client.ClientProtocolException;
import org.apache.http.client.methods.CloseableHttpResponse;
import org.apache.http.client.methods.HttpGet;
import org.apache.http.impl.client.CloseableHttpClient;
import org.apache.http.impl.client.HttpClients;
import org.apache.http.util.EntityUtils;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;
/**
* 1、使用 HttpClient 获取网页文档对象
* 2、使用 Jsoup 获取所需的信息
* 3、不足:没有判断图片类型,但是没什么影响
* @author linhongcun
*
*/
public class JsoupHttpClient {
public static void main(String[] args) throws ClientProtocolException, IOException {
// 创建httpclient实例
CloseableHttpClient httpclient = HttpClients.createDefault();
// 创建httpget实例
HttpGet httpget = new HttpGet("https://www.csdn.net/");
// 执行get请求
CloseableHttpResponse response = httpclient.execute(httpget);
HttpEntity entity = response.getEntity();
// 获取返回实体
String content = EntityUtils.toString(entity, "utf-8");
// 解析网页 得到文档对象
Document doc = Jsoup.parse(content);
// 获取指定的 <img />
Elements elements = doc.select(".img_box img");
for (int i = 0; i < 15; i++) {
Element element = elements.get(i);
// 获取 <img /> 的 src
String url = element.attr("src");
// 再发请求最简单了,并由于该链接是没有 https:开头的,得人工补全 ✔
HttpGet PicturehttpGet = new HttpGet("https:" + url);
CloseableHttpResponse pictureResponse = httpclient.execute(PicturehttpGet);
HttpEntity pictureEntity = pictureResponse.getEntity();
InputStream inputStream = pictureEntity.getContent();
// 使用 common-io 下载图片到本地,注意图片名不能重复 ✔
FileUtils.copyToFile(inputStream, new File("C://LLLLLLLLLLLLLLLLLLL//imagesTest//" + i + ".jpg"));
pictureResponse.close(); // pictureResponse关闭
}
response.close(); // response关闭
httpclient.close(); // httpClient关闭
}
}
③ pom 依赖
<!-- https://mvnrepository.com/artifact/org.apache.httpcomponents/httpclient -->
<dependency>
<groupId>org.apache.httpcomponents</groupId>
<artifactId>httpclient</artifactId>
<version>4.5.5</version>
</dependency>
<!-- https://mvnrepository.com/artifact/org.jsoup/jsoup -->
<dependency>
<groupId>org.jsoup</groupId>
<artifactId>jsoup</artifactId>
<version>1.11.2</version>
</dependency>
<!-- 文件下载 -->
<dependency>
<groupId>commons-io</groupId>
<artifactId>commons-io</artifactId>
<version>2.5</version>
</dependency>
三、效果
四、小结
1、优化:
可以根据图片的后缀 .jpg、.png、.gif 保存相应格式的图片到本地,不要一味 .jpg 结尾保存
2、附上 CSDN 主页部分源码
3、爬虫资源先放到本地,再放到服务器,否则对服务器 CPU 消耗巨大,服务器成本高