java爬虫入门第二弹——通过URL下载图片（以下载百度logo为例）

简单介绍一下：

老王是个新人，心血来潮想用java试试写爬虫，完全零基础，搜了很多教程，往往因为作者水平太高，不能一下子理解大佬代码中的深意，并且有些看似很简单的东西，对于我这种菜鸟来说，其实是很难解决的错误或者是异常。故，在稍有心得后，写下此篇。从最基础开始。一步一步，从小菜鸟，成为稍微大一点的菜鸟，给初学者带来一点启示。

如果只需要全部的代码，请直接拉至最后

如果转载，请注明出处：https://blog.csdn.net/qq_37893828/article/details/88133686 ——会飞的王浩然

如有疏漏之处，欢迎留言指出

往期列表：更多详细解释请从第一弹翻阅

• java爬虫入门第一弹——从百度首页开始（欢迎浏览）
• java爬虫入门第二弹——通过URL下载图片（以下载百度logo为例）（欢迎浏览）
• java爬虫入门第三弹——正则表达式简单应用（抓取豆瓣读书信息并以文本文件输出）（欢迎浏览）

这一节我们的目标

根据你从网页上获取到的图片URL，下载图片

从最基础开始，我首先假设你什么都不会，只会一点点的C语言和java编程

---

---

• 第一步： 创建java工程，并且在main函数中用string字符串存入你即将要下载的URL，以及图片存储的路径，并创建URL和文件对象

	public class Main {
		public static void main(String[] args) throws IOException {
			// TODO Auto-generated method stub
			
		//图片URL
		String imgUrlString = "https://http://www.baidu.com/img/bd_logo1.png";

		//存储路径
		String pathString = "D:\\logo.png";

		// 构造URL和文件对象
		URL url = new URL(imgUrlString);
		File file = new File(pathString);
		}
	}

• 图片存放的路径可以是你已经建立的任意文件夹，然后需要你在我的电脑中找到那个文件夹，然后如下图所示复制文件夹路径，并且在路径后面加上你为这张图片取得名字，然后以“.jpg”或者“.png”形式结尾
  
• 在第一弹中已经解释过什么是URL，以及“网络页面是一种网络资源”，而我们要下载的网络上的图片同样也是一种网络资源，我们需要通过URL获取网络上的各种资源
• 获取图片URL的两种方式之第一种： 如下图所示：在HTML网页中，每一个大于号“<”和小于号“>”及中间的内容称之为标签，我们想要获取图片的URL只需要找到名为“<img>”的标签即可找到图片的URL。
• 下面这张图是在第一弹中下载到的百度首页，在第五行有这样一个标签：**<img hidefocus=true src=//www.baidu.com/img/bd_logo1.png width=270 height=129>**这个标签里面的"//www.baidu.com/img/bd_logo1.png"就是百度logo图片在百度网站上的地址，在我们定义的时候要注意在前面加上表示“http:”的协议。

• 获取图片URL的两种方式之第二种： 在随便一个浏览器中打开百度首页"www.baidu.com"；右击网页空白地方，单击查看网页源代码，你看到的应该是如下图1这样子的一个界面，向下使劲翻，我们能找到类似于图二这样子的"<img>"标签，src后面的URL就是我们要找的图片的URL。
  
  

---

---

• 第二步： 创建数据流
  代码按照顺序粘贴在main函数中即可

	
	// 连接到URL
	HttpURLConnection httpURLConnection = (HttpURLConnection) url.openConnection();
	
	// 创建数据流
	// 获取数据，并以字节的形式放在缓冲区输入流
	InputStream inputStream = httpURLConnection.getInputStream();
	// 创建字节输出流
	ByteArrayOutputStream byteArrayOutputStream = new ByteArrayOutputStream();
	// 创建文件输出流
	FileOutputStream fileOutputStream = new FileOutputStream(file);

• 关于字节输入流，我们要理解的是：所有的电脑上的文件最终都是以二进制byte数据存储在电脑中的，而且"FileOutputStream"只接受byte类型的数据，因此我们需要一个字节输出流"ByteArrayOutputStream"来完成从"InputStream"到"FIleOutputStream"的转换

---

---

• **第三步：**将字节流转换为byte字节流再转换为文件流并且输出为图片
  代码按照顺序粘贴在main函数中即可

	// 将字节流转换为byte流
	byte[] byteArray = new byte[1024];
	int length;
	// 从输入流中读取数据并按字节放在byte数组中，完成输入流到byte数组的转换
	while ((length = inputStream.read(byteArray)) != -1) {
		// 完成从byte数组到字节输出流的转换
		byteArrayOutputStream.write(byteArray,0,length);
	}
	// 通过传入的文件路径进行写文件的操作
	FileOutputStream fileOutputStream = new FileOutputStream(file);
	// 将字节输出流数据写入文件输出流
	fileOutputStream.write(byteArrayOutputStream.toByteArray());

• "while ((length = inputStream.read(byteArray)) != -1)"中的"while (inputStream.read(byteArray)"意思并不是从“byteArray”中读取数据，而是 "从(来源) 输入流（inputStream）中读取数据的下一个字节 到 (byteArray) 中去" ，运行一次只读取一个字节，以“-1”为结束标志。

---

---

全部代码

import java.io.BufferedReader;
import java.io.ByteArrayOutputStream;
import java.io.File;
import java.io.FileOutputStream;
import java.io.IOException;
import java.io.InputStream;
import java.io.InputStreamReader;
import java.net.HttpURLConnection;
import java.net.MalformedURLException;
import java.net.URL;

import javax.imageio.stream.FileImageOutputStream;

public class Main {

	public static void main(String[] args) throws IOException {
		// TODO Auto-generated method stub
		
		//图片URL
		String imgUrlString = "http://www.baidu.com/img/bd_logo1.png";
		
		//存储路径
		String pathString = "D:\\logo.png";

		// 构造URL和文件对象
		URL url = new URL(imgUrlString);
		File file = new File(pathString);

		// 连接到URL
		HttpURLConnection httpURLConnection = (HttpURLConnection) url.openConnection();

		// 创建数据流
		// 获取数据，并以字节的形式放在缓冲区输入流
		InputStream inputStream = httpURLConnection.getInputStream();
		// 创建字节输出流
		ByteArrayOutputStream byteArrayOutputStream = new ByteArrayOutputStream();
		// 将字节流转换为byte流
		byte[] byteArray = new byte[1024];
		int length;
		// 从输入流中读取数据并按字节放在byte数组中，完成输入流到byte数组的转换
		while ((length = inputStream.read(byteArray)) != -1) {
			// 完成从byte数组到字节输出流的转换
			byteArrayOutputStream.write(byteArray,0,length);
		}
		// 通过传入的文件路径进行写文件的操作
		FileOutputStream fileOutputStream = new FileOutputStream(file);
		// 将字节输出流数据写入文件输出流
		fileOutputStream.write(byteArrayOutputStream.toByteArray());
	}

}