从百度图片下载原图

最新推荐文章于 2022-07-27 14:40:10 发布
最新推荐文章于 2022-07-27 14:40:10 发布
阅读量1.6k 收藏 2
点赞数
分类专栏： 简单爬虫 文章标签： 图片
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/baidu_30325009/article/details/86663897
版权

文章目录

环境

  • Google浏览器
  • selenium
    selenium可以模仿操作浏览器的过程。这里使用selenium的原因主要是因为使用JSoup暂时没有找到百度图片原图链接。查看页面源码，可以发现图片是动态加载出来的。
    在这里插入图片描述

需要注意的是: selenium的版本要和chrome浏览器的版本匹配。下面的这条链接可以参考一下。

selenium之 chromedriver与chrome版本映射表（更新至v2.43）
【https://blog.csdn.net/qq_40374604/article/details/84430963】

下图为项目的结构。需要引入selenium jar包, 以及Chromedriver.exe
在这里插入图片描述

F12观察页面元素

在这里插入图片描述
这个过程就不多说了，选定一个元素从上到下所有的url全部试一遍。

编写程序

这个没什么好说的，只要找对了页面元素并获取，都没什么问题。
这里用到了一个页面滚动的操作。
((JavascriptExecutor) connWeb).executeScript("window.scrollBy(0, document.body.scrollHeight)");
可以参考下面的链接：

Selenium之Web页面滚动条滚操作
【https://blog.csdn.net/jlminghui/article/details/50477283】

package com.nikolazhang.spider;

import java.io.File;
import java.io.IOException;
import java.io.InputStream;
import java.util.Iterator;
import java.util.List;
import java.util.Scanner;

import org.openqa.selenium.By;
import org.openqa.selenium.JavascriptExecutor;
import org.openqa.selenium.WebDriver;
import org.openqa.selenium.WebElement;
import org.openqa.selenium.chrome.ChromeDriver;
import org.openqa.selenium.interactions.Actions;

import com.nikolazhang.util.FileDownload;
import com.nikolazhang.util.HttpRequestUtil;


public class SpiderPicFromBaidu {
	private static int cnt = 0;
	
	public static void main(String[] args) throws IOException {
		Scanner scanner = new Scanner(System.in);
		System.out.println("请输入参数[参数之间使用一个空格分割] , 回车执行!");		
		String[] params = scanner.nextLine().split(" ");
		String filepath = params[0];
		String keywords = params[1];
		int count = Integer.valueOf(params[2]);
		if(count<=0) {
			System.out.println("下载数量必须大于零！！！程序退出");
			return;
		}
		
		String url = inputBaiduImageUrl(keywords);
		WebDriver connWeb = connWeb(url);
		Iterator<WebElement> imageUrl = null;
		for(int i = 1; i<=count/5; i++) {
			((JavascriptExecutor) connWeb).executeScript("window.scrollBy(0, document.body.scrollHeight)");
		}
		System.out.println("页面元素加载中...请等待...!");
		try {
			Thread.sleep(count*10);
		} catch (InterruptedException e1) {
			e1.printStackTrace();
		}
		try {
			imageUrl = getImageUrl(connWeb);
		} catch (InterruptedException e) {
			e.printStackTrace();
		}
		if(imageUrl != null) {
			downloadImage(imageUrl, filepath);
		} else {
			System.out.println("图片下载失败!!!");
		}
		System.out.println("下载结束----退出浏览器!!!");
		connWeb.close();
	}
	
	/**
	 * 链接目标网站
	 * @param url
	 * @return
	 */
	public static WebDriver connWeb(String url) {
		System.setProperty("webdriver.chrome.driver", 
				"chromedriver.exe");
		WebDriver webDriver = new ChromeDriver();
		webDriver.get(url);
		System.out.println("*+*+*+*+* 已连接网站: 【"+webDriver.getTitle()+"】");
		return webDriver;
	}
	
	/**
	 * 输入关键词
	 */
	public static String inputBaiduImageUrl(String text) {
		String url = "https://image.baidu.com"
				+ "/search/index"
				+ "?tn=baiduimage"
				+ "&word="+text;
		return url;
	}
	
	public static Iterator<WebElement> getImageUrl(WebDriver webDriver) throws InterruptedException {
		Actions actions = new Actions(webDriver);
		List<WebElement> imgitem = webDriver.findElements(By.className("imgitem"));
		System.out.println("获取到的相关的图片数量: "+imgitem.size());
		Iterator<WebElement> imgItor = imgitem.iterator();
		return imgItor;
	}
	
		public static void downloadImage(Iterator<WebElement> imgItor, String filepath) {
		File file = new File(filepath);
		if(!file.exists()) {
			file.mkdirs();
		}
		while(imgItor.hasNext()) {
			WebElement nextImg = imgItor.next();
			String addrImg = nextImg.getAttribute("data-objurl");
			String filename =  ++cnt + "." + nextImg.getAttribute("data-ext");
			FileDownload.saveImageToDisk(addrImg, filepath+filename);
			System.out.println("下载第"+ cnt +"张图片地址为: "+addrImg);
		}
	}
}
  • 文件下载公共类
package com.nikolazhang.util;

import java.io.FileOutputStream;
import java.io.IOException;
import java.io.InputStream;

public class FileDownload {
	
	
	public static void saveImageToDisk(InputStream inputStream, String filepath) {
		byte[] data = new byte[1024];
		int len = 0;
		FileOutputStream fileOutputStream = null;
		try {
			fileOutputStream = new FileOutputStream(filepath);
			while ((len = inputStream.read(data)) != -1) {
				fileOutputStream.write(data, 0, len);
 
			}
		} catch (IOException e) {
			e.printStackTrace();
		} finally {
 
			if (inputStream != null) {
				try {
					inputStream.close();
				} catch (IOException e) {
					e.printStackTrace();
				}
			}
			if (fileOutputStream != null) {
				try {
					fileOutputStream.close();
				} catch (IOException e) {
					e.printStackTrace();
				}
			}
		}
 
	}
}

Http请求公共类：

package com.nikolazhang.util;

import java.io.BufferedReader;  
import java.io.IOException;
import java.io.InputStream;  
import java.io.InputStreamReader;  
import java.io.OutputStreamWriter;
import java.io.UnsupportedEncodingException;  
import java.net.HttpURLConnection;  
import java.net.InetSocketAddress;
import java.net.Proxy;
import java.net.URL; 
import java.net.URLConnection;
import java.util.List;
import java.util.Map;


/** 
 * Http请求工具类 
 */
public class HttpRequestUtil {
    static boolean proxySet = false;
    static String proxyHost = "127.0.0.1";
    static int proxyPort = 8087;
    /** 
     * 编码 
     * @param source 
     * @return 
     */ 
    public static String urlEncode(String source,String encode) {  
        String result = source;  
        try {  
            result = java.net.URLEncoder.encode(source,encode);  
        } catch (UnsupportedEncodingException e) {  
            return "0";  
        }  
        return result;  
    }
    public static String urlEncodeGBK(String source) {  
        String result = source;  
        try {  
            result = java.net.URLEncoder.encode(source,"GBK");  
        } catch (UnsupportedEncodingException e) {  
            return "0";  
        }  
        return result;  
    }
    /** 
     * 发起http请求获取返回结果 
     * @param req_url 请求地址 
     * @return 
     */ 
    public static String httpRequest(String req_url, String fmt) {
        StringBuffer buffer = new StringBuffer();  
        try {  
            URL url = new URL(req_url);  
            HttpURLConnection httpUrlConn = (HttpURLConnection) url.openConnection();  

            httpUrlConn.setDoOutput(false);  
            httpUrlConn.setDoInput(true);  
            httpUrlConn.setUseCaches(false);  

            httpUrlConn.setRequestMethod("GET");  
            httpUrlConn.connect();  

            // 将返回的输入流转换成字符串  
            InputStream inputStream = httpUrlConn.getInputStream();  
            InputStreamReader inputStreamReader = new InputStreamReader(inputStream, fmt);  
            BufferedReader bufferedReader = new BufferedReader(inputStreamReader);  

            String str = null;  
            while ((str = bufferedReader.readLine()) != null) {  
                buffer.append(str);  
            }  
            bufferedReader.close();  
            inputStreamReader.close();  
            // 释放资源  
            inputStream.close();  
            inputStream = null;  
            httpUrlConn.disconnect();  

        } catch (Exception e) {  
        }  
        return buffer.toString();  
    }  

    /** 
     * 发送http请求取得返回的输入流 
     * @param requestUrl 请求地址 
     * @return InputStream 
     */ 
    public static InputStream httpRequestIO(String requestUrl) {  
        InputStream inputStream = null;  
        try {  
            URL url = new URL(requestUrl);  
            HttpURLConnection httpUrlConn = (HttpURLConnection) url.openConnection();  
            httpUrlConn.setDoInput(true);  
            httpUrlConn.setRequestMethod("GET");  
            httpUrlConn.connect();  
            // 获得返回的输入流  
            inputStream = httpUrlConn.getInputStream();  
        } catch (Exception e) {  
        }  
        return inputStream;  
    }


    /**
     * 向指定URL发送GET方法的请求
     * 
     * @param url
     *            发送请求的URL
     * @param param
     *            请求参数，请求参数应该是 name1=value1&name2=value2 的形式。
     * @return URL 所代表远程资源的响应结果
     */
    public static String sendGet(String url, String param) {
        String result = "";
        BufferedReader in = null;
        try {
            String urlNameString = url + "?" + param;
            URL realUrl = new URL(urlNameString);
            // 打开和URL之间的连接
            URLConnection connection = realUrl.openConnection();
            // 设置通用的请求属性
            connection.setRequestProperty("accept", "*/*");
            connection.setRequestProperty("connection", "Keep-Alive");
            connection.setRequestProperty("user-agent",
                    "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1;SV1)");
            // 建立实际的连接
            connection.connect();
            // 获取所有响应头字段
            Map<String, List<String>> map = connection.getHeaderFields();
            // 遍历所有的响应头字段
            // 定义 BufferedReader输入流来读取URL的响应
            in = new BufferedReader(new InputStreamReader(
                    connection.getInputStream()));
            String line;
            while ((line = in.readLine()) != null) {
                result += line;
            }
        } catch (Exception e) {
        }
        // 使用finally块来关闭输入流
        finally {
            try {
                if (in != null) {
                    in.close();
                }
            } catch (Exception e2) {
                e2.printStackTrace();
            }
        }
        return result;
    }

    /**
     * 向指定 URL 发送POST方法的请求
     * 
     * @param url
     *            发送请求的 URL
     * @param param
     *            请求参数，请求参数应该是 name1=value1&name2=value2 的形式。
     * @param isproxy
     *               是否使用代理模式
     * @return 所代表远程资源的响应结果
     */
    public static String sendPost(String url, String param, String fmt,boolean isproxy) {
        OutputStreamWriter out = null;
        BufferedReader in = null;
        String result = "";
        try {
            URL realUrl = new URL(url);
            HttpURLConnection conn = null;
            if(isproxy){//使用代理模式
                @SuppressWarnings("static-access")
                Proxy proxy = new Proxy(Proxy.Type.DIRECT.HTTP, new InetSocketAddress(proxyHost, proxyPort));
                conn = (HttpURLConnection) realUrl.openConnection(proxy);
            }else{
                conn = (HttpURLConnection) realUrl.openConnection();
            }
            // 打开和URL之间的连接

            // 发送POST请求必须设置如下两行
            conn.setDoOutput(true);
            conn.setDoInput(true);
            conn.setRequestMethod("POST");    // POST方法


            // 设置通用的请求属性

//            conn.setRequestProperty("accept", "*/*");
//            conn.setRequestProperty("connection", "Keep-Alive");
//            conn.setRequestProperty("user-agent",
//                    "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1;SV1)");
//            conn.setRequestProperty("Content-Type", "application/x-www-form-urlencoded");

            conn.connect();

            // 获取URLConnection对象对应的输出流
            out = new OutputStreamWriter(conn.getOutputStream(), fmt);
            // 发送请求参数
            out.write(param);
            // flush输出流的缓冲
            out.flush();
            // 定义BufferedReader输入流来读取URL的响应
            in = new BufferedReader(
                    new InputStreamReader(conn.getInputStream()));
            String line;
            while ((line = in.readLine()) != null) {
                result += line;
            }
        } catch (Exception e) {
        }
        //使用finally块来关闭输出流、输入流
        finally{
            try{
                if(out!=null){
                    out.close();
                }
                if(in!=null){
                    in.close();
                }
            }
            catch(IOException ex){
                ex.printStackTrace();
            }
        }
        return result;
    }    

    public static void main(String[] args) {
        //demo:代理访问
        String url = "http://api.adf.ly/api.php";
        String para = "key=youkeyid&youuid=uid&advert_type=int&domain=adf.ly&url=http://somewebsite.com";

    }

}

以上程序可以在GitHub上获取，CSDN上的代码一般不会更新：
【https://github.com/NikolaZhang/PickPic】

运行

在这里插入图片描述
在这里插入图片描述

完美~~

在这里插入图片描述

NikolaZhang
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
python爬取百度图片
05-04
python爬取百度图片 使用任意关键字 python爬取百度图片 使用任意关键字 python爬取百度图片 使用任意关键字 python爬取百度图片 使用任意关键字 python爬取百度图片 使用任意关键字 python爬取百度图片
python学习之下载百度搜索到的图片（含源代码）
分享型博主
01-29 849
学习任何知识都是一个循序渐进的过程，从嘤嘤学语到出口成章，从蹒跚学步到健步如飞，你可以收获到学习知识的快乐还能交到好多志同道合的朋友。python抓取的相关知识只能算一个简单的分支，当然好好钻研下去都能收获满满。这里告诫自己：借鉴前人，完善自我，不断创新，愿有梦想的你，越来越好。
如何用Python爬虫实现百度图片自动下载？
weixin_34356555的博客
02-03 1391
Github：github.com/nnngu/Learn… 制作爬虫的步骤 制作一个爬虫一般分以下几个步骤： 分析需求 分析网页源代码，配合开发者工具 编写正则表达式或者XPath表达式 正式编写 python 爬虫代码 效果预览 运行效果如下： 存放图片的文件夹： 需求分析 我们的爬虫至少要实现两个功能：一是搜索图片，二是自动下载。 搜索图片：最容易想到的是爬百度图片的结果，我们就上...
matlab cameraman,cameraman.tif 原图
weixin_39986973的博客
03-21 2838
将图像 rice.png 和图像 cameraman.tif 相加 clear all; I=imread('rice.png'); J=imread('cameraman.tif'); K=imadd(I,J); subplot(1,3,1),imshow(......直接灰度变换 clc;clear all; close all I=imread('cameraman.tif'); subpl...
Matlab数字图像处理
OIqng的博客
05-26 4353
从磁盘上读入图像’moon.jpg’，将其显示在一个可以显示2幅图像的窗口中的左边，求出 ’moon.jpg’的轮廓，并将其显示在上述窗口的右边。 I=imread('moon.jpg'); subplot(1,2,1); imshow(I) subplot(1,2,2); imcontour(I); 从磁盘上读入图像’saturn.png’，将该图像显示在一个可以显示4幅图像（两行两列）的左上角显示该图像；求出该图像的补图像，将结果显示在右上角；将原图分别顺时针旋转45度和逆时针旋转45度，保持输出
百度(baidu)、bing、sogo、360关键字 - 图片批量下载
SHTL_LS的博客
07-27 416
百度(baidu)、bing、sogo、360关键字 - 图片批量下载 Python脚本，Python爬虫
数字图像处理 --- 窗函数在图像处理中的应用
松下J27录放机
04-26 9754
窗函数在图像处理中的应用 上次我初略的讲了一下什么是窗函数，以及窗函数在DSP应用中的例子。之所以要引用窗函数，主要是为了防止突然的截断导致的频谱泄露。频谱的泄露在DIP的频域中也是非常常见的，我这里举三个例子来说明。如果还不了解窗函数的同学请看我写的这篇文章：https://blog.csdn.net/d......
Python批量爬取谷歌原图，2021年最新可用版
m0_49688739的博客
08-11 3135
系列文章目录 提示：这里可以添加系列文章的所有文章的目录，目录需要自己手动添加 例如：第一章 Python 机器学习入门之pandas的使用 提示：写完文章后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录 系列文章目录 前言 一、pandas是什么？ 二、使用步骤 1.引入库 2.读入数据 总结 前言 提示：这里可以添加本文要记录的大概内容： 例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基
自动爬取百度谷歌图片
09-20
手撸了一个下载器，可以自动下载百度谷歌图片，只要输入搜索关键词即可。内附所需配置驱动以及使用说明。
百度贴吧帖子图片批量下载工具 (含源代码)
09-07
功能:可以把百度贴吧某个帖子里面的所有图片下载下来. (这个小工具编写的最初目的就是为了下载某个漫画连载贴里面的漫画...) 最大的缺点:这个是控制台程序,只能以命令行方式启动,无GUI界面.. 压缩包内附带源代码,...
20个图像处理经典标准图片文件
12-25
包括lena,barbara,cameraman,house,peppers,boat等
无损格式图片raw修图资源
06-16
无损格式图片raw修图资源，可用于摄影后期做练习，raw是数字格式
standard_test_images *.tif版本‘Lena、cameraman、house等等’
03-10
图像处理使用图像。包含多种图像Lena、cameraman、house等
数字图像处理（冈萨雷斯）书本全部完整原图片库
05-13
数字图像处理（冈萨雷斯）书本全部完整原图片库
数字图像处理-冈萨雷斯-素材原图
01-12
数字图像处理-冈萨雷斯-素材原图
android百度地图嵌入flutter demo
05-09
android百度地图嵌入flutter demo 包含在flutter动态更新百度地图 调通日期是2021.5.8
原生js实现图片标记类似地图标记功能
07-05
原生js实现图片标记功能 类似与地图的标记.自己写的 ,只是静态图片的标记....图片没有缩放 拖动等功能 标记也没有可以拖动的功能 因为这几个功能都要的话 那不就是地图标记了嘛 直接区扣百度地图就是了
一款简易的百度图片批量下载软件
m0_53688587的博客
12-24 1236
百度图片下载器的界面效果： 学了一段时间的爬虫，于是就想着做一个小项目练练手，平时生活中我们可能需要去百度上搜索图片，有时想要下载，怎么办呢？笨方法就是一张一张的用鼠标右键进行保存图片，这是不是很麻烦，所以就自己想了一下，做个界面版的下载器，方便我们可以进行批量下载百度图片！ 完整代码如下： import tkinter as tk from tkinter import messagebox, DISABLED import os, re import requests from tkinter.fil
php爬去百度图片,python爬虫：随心所欲地爬取百度图片
weixin_34837898的博客
03-10 259
文章目录一、前言二、需要导入的库三、实现过程1、下载链接分析2、代码分析3、完整代码四、Blogger's speech(免费学习推荐：python视频教程)一、前言之前爬取了很多静态网页的内容，包括：小说、图片等等，今天我来尝试一下动态网页的爬取。众所周知，百度图片就是一个动态网页。那么，冲！冲！！冲！！！二、需要导入的库import requestsimport jsonimport os三、...
怎么从百度地图上下载实景图片
最新发布
05-25
您可以按照以下步骤从百度地图上下载实景图片： 1. 在百度地图上找到您想要下载的区域，然后在左上角的搜索栏中输入该区域的地址或名称。 2. 等待地图加载完成后，找到您想要下载实景图片的位置。您可以使用鼠标...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值