百度图片下载器

最新推荐文章于 2022-01-25 20:12:19 发布
最新推荐文章于 2022-01-25 20:12:19 发布
阅读量875 收藏 2
点赞数
分类专栏： 学习 文章标签： 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_36790381/article/details/87881981
版权

基于winform的百度图片下载爬虫


##话不多说，上代码！
界面程序代码 BaiduSpider.cs 

using Newtonsoft.Json.Linq;
using System;
using System.Collections.Generic;
using System.ComponentModel;
using System.Data;
using System.Drawing;
using System.IO;
using System.Linq;
using System.Text;
using System.Threading;
using System.Threading.Tasks;
using System.Windows.Forms;

namespace baiduSpider
{
    public partial class BaiduSpider : Form
    {
        public BaiduSpider()
        {
            InitializeComponent();
        }

        private void button2_Click(object sender, EventArgs e)
        {
            FolderBrowserDialog fbd = new FolderBrowserDialog();
            fbd.Description = "请选择文件保存文件夹";
            fbd.ShowNewFolderButton = true;
            fbd.SelectedPath = Environment.CurrentDirectory;

            if (fbd.ShowDialog() == System.Windows.Forms.DialogResult.OK)
            {
                this.t_savePath.Text = fbd.SelectedPath;
            }
        }

        private void btn_downLoad_Click(object sender, EventArgs e)
        {
            //验证关键词是否填写
            if (String.IsNullOrEmpty(this.t_keyword.Text))
            {
                MessageBox.Show("关键字不能为空");
                return;
            }
            //验证保存路径是否填写
            if (String.IsNullOrEmpty(this.t_savePath.Text))
            {
                MessageBox.Show("保存路径不能为空");
                return;
            }
            //验证保存路径是否存在
            if (!Directory.Exists(this.t_savePath.Text))
            {
                try
                {
                    Directory.CreateDirectory(this.t_savePath.Text);

                }
                catch 
                {
                    MessageBox.Show("文件夹创建失败");
                    return;
                }
            }
            //验证文件夹可写性
            try
            {
                using (FileStream fs = new FileStream(Path.Combine(this.t_savePath.Text, "test-file.txt"), FileMode.Create)) ;
                File.Delete(Path.Combine(this.t_savePath.Text, "test-file.txt"));
            }
            catch
            {
                MessageBox.Show("文件夹不可写");
                return;
            }
            //resultList.Items.Add(GetUrl());

            //启用线程
            String URL = GetUrl();
            Thread thread = new Thread(() => { Downloads(URL, (int)n_page.Value); });
            thread.Start();
        }

        //下载方法
        private void Downloads(String url, int pages)
        {
            for (int i = 0; i < pages; i++)
            {
                String Url = url.Replace("[REPLACE]",(30*i).ToString());
                Stream stream;
                try
                {
                    //获取流
                     stream = Download.DownLoadFile(Url);
                }
                catch
                {
                    continue;

                }
               

                String Html;
                try
                {
                    using (StreamReader sr = new StreamReader(stream))
                    {
                        Html = sr.ReadToEnd();

                    }
                }
                catch
                {
                    continue;
                }
              
               
                JObject jobj = JObject.Parse(Html);

                JArray jarr = (JArray)jobj["data"];
                for (int j = 0; j < jarr.Count; j++)
                {
                    try
                    {
                        String picUrl = jarr[j]["thumbURL"].ToString();
                        String savePath = Path.Combine(t_savePath.Text, ReName(picUrl.Substring(picUrl.LastIndexOf("/") + 1)));
                        String picReferer = "http://image.baidu.com/";

                        if (jarr[j].ToString().Contains("replaceUrl"))
                        {
                            picUrl = jarr[j]["replaceUrl"][0]["ObjURL"].ToString();
                            savePath = Path.Combine(t_savePath.Text, ReName(picUrl.Substring(picUrl.LastIndexOf("/") + 1)));
                            picReferer = jarr[j]["replaceUrl"][0]["FromURL"].ToString();
                        }

                        //如果已经存在则不下载
                        if (File.Exists(savePath))
                            continue;

                        if(Download.DownLoadFile(picUrl, savePath, picReferer))
                        {
                            this.Invoke(new Action(() =>
                            {
                                resultList.Text += String.Format("图片{0}下载成功", picUrl.Substring(picUrl.LastIndexOf("/") + 1)) + Environment.NewLine;

                            }));
                        }
                        else
                        {
                            this.Invoke(new Action(() =>
                            {
                                resultList.Text += String.Format("图片{0}下载失败", picUrl.Substring(picUrl.LastIndexOf("/") + 1)) + Environment.NewLine;

                            }));

                        }
                    }
                    catch
                    {
                        continue;
                    }
                    
                }
               
            }
        }

        //修改不能改的字符
        private String ReName(String FileAdress)
        {
            FileAdress = FileAdress.Replace(":","_");
            FileAdress = FileAdress.Replace("*","_");
            FileAdress = FileAdress.Replace("?","_");
            FileAdress = FileAdress.Replace("\\","_");
            FileAdress = FileAdress.Replace("/","_");
            FileAdress = FileAdress.Replace(@"\","_");
            FileAdress = FileAdress.Replace("<","_");
            FileAdress = FileAdress.Replace("|","_");
            FileAdress = FileAdress.Replace(">","_");
            FileAdress = FileAdress.Replace(" ","_");
            return FileAdress;
        }

        private void c_manual_CheckedChanged(object sender, EventArgs e)
        {
            if (c_manual.Checked)
            {
                c_size.Enabled = false;
                n_width.Enabled = true;
                n_height.Enabled = true;
            }
            else
            {
                c_size.Enabled = true;
                n_width.Enabled = false;
                n_height.Enabled = false;
            }
        }

        private void BaiduSpider_Load(object sender, EventArgs e)
        {
            c_color.SelectedIndex = 0;
            c_size.SelectedIndex = 0;
            c_type.SelectedIndex = 0;
        }

        private String GetUrl()
        {
            //关键词
            String queryWord, word;

            queryWord = word = UrlEncode(t_keyword.Text);

            //尺寸
            String z;
            z = new String[] { "0", "1", "2", "3", "9" }[c_size.SelectedIndex];
            //颜色
            String ic;
            ic = "";
            if (c_color.SelectedIndex != 0)
                ic = Convert.ToString(Math.Pow(2, c_color.SelectedIndex - 1));

            //类型
            String st, s, face, lm;
            st = "-1";
            face = "0";
            s = lm  = "";
            switch (c_type.SelectedIndex)
            {
                case 1:
                    s = "1";
                    break;
                case 2:
                    face = "1";
                    break;
                case 3:
                    st = "1";
                    break;
                case 4:
                    st = "2";
                    break;
                case 5:
                    lm = "6";
                    break;
                case 6:
                    lm = "7";
                    break;

            }

            //宽高
            String width, height;
            width = height = "";
            if (c_manual.Checked)
            {
                width = n_width.Value.ToString();
                height = n_height.Value.ToString();
                z = "0";
            }
            String Url = String.Format("https://image.baidu.com/search/acjson?tn=resultjson_com&ipn=rj&ct=201326592&is=&fp=result&queryWord={0}&cl=2&lm={1}&ie=utf-8&oe=utf-8&adpicid=&st={2}&z={3}&ic={4}&hd=&latest=&copyright=&word={5}&s={6}&se=&tab=&width={7}&height={8}&face={9}&istype=&qc=&nc=1&fr=&expermode=&force=&pn=[REPLACE]&rn=30&gsm=1e&1550717815835=",
                                       queryWord, lm, st, z, ic, word, s, width,height,face);
            return Url;
        }

        private String UrlEncode(String str)
        {
            StringBuilder sb = new StringBuilder();
            byte[] bystr = System.Text.Encoding.UTF8.GetBytes(str);
            for (int i = 0; i < bystr.Length; i++)
            {
                sb.Append(@"%"+Convert.ToString(bystr[i],16));


            }
            return (sb.ToString());

        }

        private void b_clear_Click(object sender, EventArgs e)
        {
            resultList.Text = "";
        }
    }
}

下载类 Download.cs

using System;
using System.Collections.Generic;
using System.IO;
using System.Linq;
using System.Net;
using System.Text;
using System.Threading.Tasks;

namespace baiduSpider
{
    public class Download
    {
        public static Stream DownLoadFile(String URL)
        {
            HttpWebRequest Myrq =  (HttpWebRequest)WebRequest.Create(URL);

            Myrq.KeepAlive = false;
            Myrq.Timeout = 30 * 1000;
            Myrq.Method = "GET";
            Myrq.UserAgent = GetUA();

            HttpWebResponse Myrp = (HttpWebResponse)Myrq.GetResponse();
            if (Myrp.StatusCode != HttpStatusCode.OK)
            {
                return null;
            }
            return Myrp.GetResponseStream();
        }

        public static Boolean DownLoadFile(String URL,String filename,String referer)
        {
            HttpWebRequest Myrq = (HttpWebRequest)WebRequest.Create(URL);

            Myrq.KeepAlive = false;
            Myrq.Timeout = 30 * 1000;
            Myrq.Method = "GET";
            Myrq.UserAgent = "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.109 Safari/537.36";
            Myrq.Host = URL.Split('/')[2];
            Myrq.Referer = referer;
            HttpWebResponse Myrp = (HttpWebResponse)Myrq.GetResponse();
            if (Myrp.StatusCode != HttpStatusCode.OK)
            {
                return false;
            }
            using (FileStream fs = new FileStream(filename,FileMode.Create))
            {
                Myrp.GetResponseStream().CopyTo(fs);
            }
                return true;
        }

        private static String GetUA()
        {
            string[] userAgents =
            {
                "Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_6_8; en - us) AppleWebKit / 534.50(KHTML, like Gecko) Version / 5.1 Safari / 534.50",
                "Mozilla / 5.0(Windows; U; Windows NT 6.1; en - us) AppleWebKit / 534.50(KHTML, like Gecko) Version / 5.1 Safari / 534.50",
                "Mozilla / 5.0(compatible; MSIE 9.0; Windows NT 6.1; Trident / 5.0;",
                 "Mozilla / 5.0(Macintosh; Intel Mac OS X 10.6; rv: 2.0.1) Gecko / 20100101 Firefox / 4.0.1",
                "Mozilla / 5.0(Windows NT 6.1; rv: 2.0.1) Gecko / 20100101 Firefox / 4.0.1",
                "Opera / 9.80(Macintosh; Intel Mac OS X 10.6.8; U; en) Presto / 2.8.131 Version / 11.11",
                "Opera / 9.80(Windows NT 6.1; U; en) Presto / 2.8.131 Version / 11.11",
                "Mozilla / 5.0(Macintosh; Intel Mac OS X 10_7_0) AppleWebKit / 535.11(KHTML, like Gecko) Chrome / 17.0.963.56 Safari / 535.11",
                "Mozilla / 5.0(compatible; MSIE 9.0; Windows NT 6.1; Trident / 5.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; .NET4.0E)",
                "Opera / 9.80(Windows NT 5.1; U; zh - cn) Presto / 2.9.168 Version / 11.50",
                "Mozilla / 5.0(Windows NT 5.1; rv: 5.0) Gecko / 20100101 Firefox / 5.0",
                "Mozilla / 5.0(Windows NT 5.2) AppleWebKit / 534.30(KHTML, like Gecko) Chrome / 12.0.742.122 Safari / 534.30",
                "Mozilla / 5.0(Windows NT 6.1; WOW64) AppleWebKit / 536.11(KHTML, like Gecko) Chrome / 20.0.1132.11 TaoBrowser / 2.0 Safari / 536.11",
                "Mozilla / 5.0(Windows NT 6.1; WOW64) AppleWebKit / 537.1(KHTML, like Gecko) Chrome / 21.0.1180.71 Safari / 537.1 LBBROWSER",
                "Mozilla / 5.0(compatible; MSIE 9.0; Windows NT 6.1; WOW64; Trident / 5.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; .NET4.0E; LBBROWSER)",
                "Mozilla / 4.0(compatible; MSIE 7.0; Windows NT 5.1; Trident / 4.0; SV1; QQDownload 732; .NET4.0C; .NET4.0E; 360SE)",
                "Mozilla / 5.0(Windows NT 5.1) AppleWebKit / 535.11(KHTML, like Gecko) Chrome / 17.0.963.84 Safari / 535.11 SE 2.X MetaSr 1.0",
                "Mozilla / 5.0(Windows NT 5.1) AppleWebKit / 537.1(KHTML, like Gecko) Chrome / 21.0.1180.89 Safari / 537.1",
                "Mozilla / 4.0(compatible; MSIE 7.0; Windows NT 5.1; Trident / 4.0; SV1; QQDownload 732; .NET4.0C; .NET4.0E; SE 2.X MetaSr 1.0)",
                "Opera / 9.27(Windows NT 5.2; U; zh - cn)",
                "Opera / 8.0(Macintosh; PPC Mac OS X; U; en)",
                "Mozilla / 5.0(Macintosh; PPC Mac OS X; U; en) Opera 8.0",
                "ozilla / 5.0(Windows; U; Windows NT 5.2) Gecko / 2008070208 Firefox / 3.0.1",
                "Mozilla / 5.0(Windows; U; Windows NT 5.1) Gecko / 20070803 Firefox / 1.5.0.12",
                "Mozilla / 4.0(compatible; MSIE 12.0",
                "Mozilla / 5.0(Windows NT 5.1; rv: 44.0) Gecko / 20100101 Firefox / 44.0"
            };
            return userAgents[new Random().Next(0, userAgents.Length)];
        }
    }
}

相关引用：
Newtonsoft.Json.dll 文件 序列化工具

程序截图
在这里插入图片描述

北街学长
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
python图片下载器（百度图片）
weixin_46005499的博客
08-17 442
之前觉得爬虫很好玩，去网页上面抓取数据感觉很神奇。初次接触在导入包就出现了问题，requests没有导入到程序中，在cmd命令里面输入pip install requests，下载到一半的时候就报错了，辗转反侧，从火狐到谷歌 ...
基于python3 的百度图片下载器
1252661442的博客
11-04 1767
自己写了玩的一个小脚本，百度图片下载 import re import os import requests import hashlib def dowmloadPic(html, keyword): pic_url = re.findall('"objURL":"(.*?)",', html, re.S) if len(pic_url) < 1: ...
PyQt5 GUI：百度图片下载器（文末附源码）
梦在硅谷的博客
12-19 618
通过 Pyqt5 实现一个界面化的下载器，在通过网络请求实现各种类型的图片的下载。可以通过界面上输入不同图片的关键字从而实现下载图片并将下载好的图片保存到自定义的文件路径中。 文末附源码、操作视频 【阅读全文】 在介绍代码块内容之前，先来看一下需要用到的三方的 python 库。 from PyQt5.QtWidgets import * from PyQt5.QtCore import * from PyQt5.QtGui import * import os from scripy_images i
一款简易的百度图片批量下载软件
m0_53688587的博客
12-24 1344
百度图片下载器的界面效果： 学了一段时间的爬虫，于是就想着做一个小项目练练手，平时生活中我们可能需要去百度上搜索图片，有时想要下载，怎么办呢？笨方法就是一张一张的用鼠标右键进行保存图片，这是不是很麻烦，所以就自己想了一下，做个界面版的下载器，方便我们可以进行批量下载百度图片！ 完整代码如下： import tkinter as tk from tkinter import messagebox, DISABLED import os, re import requests from tkinter.fil
百度图片下载器2.0
梦在硅谷的博客
01-25 914
前段时间写了一个百度图片下载器，结果发现有很多人需要使用。说实话之前写的那一款百度图片下载器比较LOW，今天刚好有时间就做了一下升级。 完整源代码的获取方式放在文末了，有需要的直接下载即可。 更新了两个BUG，一个是图片下载达到几千张的时候就没有图片可以下载了。另一个是下载进度不能实时的展示出来不知道下载到什么程度了。 同样的，我们先把需要的第三方库导入进来。 '''UI界面相关的库''' from PyQt5.QtWidgets import * fro
百度图片下载器下载助手
10-15
"百度图片下载器下载助手"是一个专门设计用于帮助用户批量下载百度搜索引擎上的图片的工具。在互联网上寻找并收集特定主题的图片时，手动一张张下载往往效率低下，而这款软件则能有效提高下载速度和便利性。本文将...
C#百度图片下载器源码
03-10
标题 "C#百度图片下载器源码" 描述了一个基于C#编程语言开发的应用程序，其主要功能是能够从百度网站上下载图片。这个工具对于开发者来说，可能是用于学习网络爬虫技术、图像处理或者自动化任务的一个实例。下面将...
百度图片下载器python版
05-09
【标题】：“百度图片下载器python版” 在Python编程领域，开发一个“百度图片下载器”是为了方便用户批量下载百度搜索引擎中的图片。这样的工具通常基于Python的网络爬虫技术，结合百度图片搜索接口，实现对特定...
百度图片下载器（基于python3x）1.0.exe
02-08
使用python3.0开发的静态爬取，只能爬取30张图片，仅供娱乐，免费！
百度图片批量下载工具
06-08
百度图片批量下载工具
C#图片下载器
08-08
C#图片下载器C#图片下载器C#图片下载器C#图片下载器C#图片下载器
百度图片批量下载工具v9.0.3.3512中文绿色免费版
08-05
百度图片批量下载可以根据关键字，一键批量下载百度图片，无重复图片，下载完成自动关机。 百度图片批量下载软件功能： 1、最好用的百度图片下载器，一键快速批量下载百度亿万精美图片；2、快速高效的图片检索和多任务下载，下载进度实时显示，包括下载速度、耗时、已下载、下载状态等；3、支持图片即时预览、分享到微博等社交网站、设为桌面壁纸、图片另存为等快捷实用功能；4、支持批量任务管理，可批量添加关键字下载
C#百度图片批量下载
10-17
C#版本的百度（wap）图片批量下载，也可以修改成下载当前页面的图片。
网页图片下载器 免费版,批量下载网页图片工具
02-25
一款图片下载管理软件。此应用程序允许你轻松从互联网下载图片、Flash、电影、数字照片、墙纸和图片库。它将帮助你收集整理自己的图片库。 　　内置图片浏览器、微缩图标浏览以及带转场效果的全屏幻灯浏览等将帮助你预览和管理图片（复制、打印、墙纸设置、Email传送等等）。 　　你可以快速下载管理图片，只要简单地输入地址和图片库的首页。智能页面分析器将遍历每个页面上的连接并下载需要的图片。下载有密码保护的图片库。
从百度图片搜索上下载图片
重剑无锋
10-19 2012
 从百度图片搜索上下载叶片图像，作为柑橘溃疡病识别的负样本。百度图片搜索的结果通过一个javascript函数动态生成：function funURL(a,b,c,d,e,f,g,h,i,j,k,l,m,n,o,p,q)...{arrImg[imgNum++]=+a+&tn=baiduimagedetail&word=+trim(b)+&in=+c+&cl=+d+&l
Python爬虫（三）——百度图片下载器
geeknuo的博客
12-11 1166
我们之前写的两个小项目，都是对文字的处理和存储，而且没有与我们的动态交互，写的代码是啥就只能爬取啥内容，那么接下来我们就用百度图片讲解一下图片的下载及最简单的键入关键字搜索内容； 我们还是先分析一下我们每搜索一个内容，它的网址是怎么变化的，肯定是有所规律的，我们来总结一下： # 我们来对比下这两个网址有什么区别 https://image.baidu.com/search/flip?tn=b...
百度图片下载器（基于python3）
qq_43391694的博客
02-08 448
# -*- coding: utf-8 -*- # Form implementation generated from reading ui file 'BaiduPicture.ui' # # Created by: PyQt5 UI code generator 5.15.2 # # WARNING: Any manual changes made to this file will be lost when pyuic5 is # run again. Do not edit this fil.
百度图片下载脚本
tcd1112的博客
05-29 516
    最近爬虫炒的越来越火,我也想加入其中一探究竟,闲来无聊,手动修改了一个在百度网爬取图片的脚本.    一.代码详细讲解介绍:    1.头文件介绍    import itertools import urllib import requests import os import re import sys    在脚本中用到了不少库,理所当然的库有request和urllib,正则表达式...
百度uedit编辑器怎么配置图片上传
最新发布
04-01
百度UEditor编辑器图片上传配置需要以下步骤： 1. 下载UEditor插件并解压：在百度官网下载UEditor插件，解压后将ueditor.config.js和ueditor.all.js文件复制到项目中。 2. 配置ueditor.config.js文件：在ueditor....
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

北街学长

你的鼓励使我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值