爬图片URL

最新推荐文章于 2021-01-29 21:50:24 发布
最新推荐文章于 2021-01-29 21:50:24 发布
阅读量963 收藏
点赞数
分类专栏： java 文章标签： java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/prrety_girl/article/details/75674974
版权

想要获取到100条图片链接，还是自己写来的方便些，代码有不足之处，之后再继续改进^_^

package zw;

import java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStreamReader;
import java.net.HttpURLConnection;
import java.net.MalformedURLException;
import java.net.URL;
import java.net.URLConnection;
import java.util.ArrayList;
import java.util.LinkedList;
import java.util.List;
import java.util.Map;
import java.util.Queue;
import java.util.regex.Matcher;
import java.util.regex.Pattern;

import org.junit.experimental.theories.Theories;
import org.springframework.core.io.UrlResource;

import com.mysql.fabric.xmlrpc.base.Array;
import com.sleepycat.utilint.StringUtils;

public class ImageCrawler {
	public static Queue<String> htmlQueue=new LinkedList<String>();
	public static ArrayList<String> imageUrlArrayList=new ArrayList<>();
	public static int imageUrlCount;
	public static int maxCount=200;
	public static boolean flagEnd;

	public static void startCrawl(String url,int maxImageUrlCount) {
		maxCount=maxImageUrlCount;
		htmlQueue.add(url);
		while(!htmlQueue.isEmpty()) {
			String urlHtml=htmlQueue.element();
			htmlQueue.remove();
			crawl(urlHtml);
			if(flagEnd)
				return;
		}
	}

	public static void crawl(String url) {
		String result=request(url);
		
		//将图片连接添加进容器
		//http(s):// 表示开头是http://或者https://
		//\\S* 表示任意个不含空格的字符 (结果证明这个用来获取URL并不严谨，大部分是可以）
		//\\. 表示.
		//(jpg|png) 表示jpg或者png
		Pattern pattern=Pattern.compile("http(s)://\\S*\\.(jpg|png)");
		Matcher matcher=pattern.matcher(result);
		while(matcher.find()) {
			
			if(!imageUrlArrayList.contains(matcher.group())) {
				imageUrlArrayList.add(matcher.group());
				imageUrlCount++;	
				if(imageUrlCount>maxCount) {
					flagEnd=true;
					return;
				}
				System.out.println("imageUrl="+matcher.group()+" imageUrlCount="+imageUrlCount);
			}
		}

		//将网页连接添加进队列
		pattern=Pattern.compile("http(s)://\\S*(\\.html|jsp|php)");
		matcher=pattern.matcher(result);
		while(matcher.find()) {
			if(!htmlQueue.contains(matcher.group())) {
				htmlQueue.add(matcher.group());
			}
		}
	}


	//获取网页的主体数据
	public static String request(String url) {
		BufferedReader bufferedReader=null;
		String result="";
		try {
			URL requestUrl=new URL(url);
			HttpURLConnection urlConnection=(HttpURLConnection) requestUrl.openConnection();
			urlConnection.connect();
			
			bufferedReader=new BufferedReader(
					new InputStreamReader(urlConnection.getInputStream(),"gbk"));
			String line;
			while((line=bufferedReader.readLine())!=null) {
				result+=line+"\r\n";
			}		
		} catch (MalformedURLException e) {
			e.printStackTrace();
		} catch (IOException e) {
			e.printStackTrace();
		}finally {
			if(bufferedReader!=null) {
				try {
					bufferedReader.close();
				} catch (IOException e) {
					e.printStackTrace();
				}
			}
		}
		return result;
	}

}


package zw;

import java.io.BufferedWriter;
import java.io.FileWriter;
import java.io.IOException;
import java.util.ArrayList;

import com.mysql.fabric.xmlrpc.base.Array;

public class ImageCrawlerTest{

	public static void main(String[] args) {
		ImageCrawler.startCrawl("http://news.qq.com/",100);
		ArrayList<String> arrayList=ImageCrawler.imageUrlArrayList;
		
		BufferedWriter writer=null;
		try {
			writer=new BufferedWriter(new FileWriter("f:/imageurl.txt"));
			writer.write("String[] imageUrl=new String[]{\n");
			writer.flush();
			int i=0;
			for(String item:arrayList) {
				i++;
				if(i<arrayList.size()) {
						writer.write("\""+item+"\",");
				}else {
					writer.write("\""+item+"\"};");
				}
				writer.newLine();
				writer.flush();
			}
		} catch (IOException e) {
			e.printStackTrace();
		}finally {
			try {
				writer.close();
			} catch (IOException e) {
				e.printStackTrace();
			}
		}
	}
}
得到的imageurl.txt文件： 

String[] imageUrl=new String[]{
"https://i.gtimg.cn/qqlive/img/jpgcache/files/qqvideo/hori/a/ap8ymiq8ac6ot78.jpg",
"https://i.gtimg.cn/qqlive/img/jpgcache/files/qqvideo/hori/4/482kbm3ynxy5hod.jpg",
"https://i.gtimg.cn/qqlive/img/jpgcache/files/qqvideo/hori/s/s98gibd18rpnh8x.jpg",
"https://i.gtimg.cn/qqlive/img/jpgcache/files/qqvideo/hori/v/v7ficapjz5lp9wk.jpg",
"https://i.gtimg.cn/qqlive/img/jpgcache/files/qqvideo/hori/9/9h8c52fr93m5a1d.jpg",
"https://i.gtimg.cn/qqlive/img/jpgcache/files/qqvideo/hori/r/rr8egv2y28ryszt.jpg",
"https://i.gtimg.cn/qqlive/img/jpgcache/files/qqvideo/hori/d/ddwbsu03l3riujw.jpg",
"https://i.gtimg.cn/qqlive/img/jpgcache/files/qqvideo/hori/f/f7lwk6wvsuze56o.jpg",
"https://i.gtimg.cn/qqlive/img/jpgcache/files/qqvideo/hori/g/gp4luezse7zydgb.jpg",
"https://i.gtimg.cn/qqlive/img/jpgcache/files/qqvideo/hori/g/g9bh6v53j4f9k4q.jpg",
"https://i.gtimg.cn/qqlive/img/jpgcache/files/qqvideo/hori/o/o9thh6b3y7k6w5k.jpg",
"https://i.gtimg.cn/qqlive/img/jpgcache/files/qqvideo/hori/n/n6j4h0i09jdfmvj.jpg",
"https://i.gtimg.cn/qqlive/img/jpgcache/files/qqvideo/hori/a/atige61a93darmk.jpg",
"https://i.gtimg.cn/qqlive/img/jpgcache/files/qqvideo/hori/5/5gx8y0zjb3wmmbu.jpg",
"https://i.gtimg.cn/qqlive/img/jpgcache/files/qqvideo/hori/q/qb7hxq8pn7scjk5.jpg",
"https://i.gtimg.cn/qqlive/img/jpgcache/files/qqvideo/hori/h/h7prazd5bqgtcob.jpg",
"https://i.gtimg.cn/qqlive/img/jpgcache/files/qqvideo/hori/y/y0u420qkxxequ20.jpg",
"https://i.gtimg.cn/qqlive/img/jpgcache/files/qqvideo/hori/p/p804hd60rbze39m.jpg",
"https://i.gtimg.cn/qqlive/img/jpgcache/files/qqvideo/hori/h/h81ii0umt6an3pf.jpg",
"https://i.gtimg.cn/qqlive/img/jpgcache/files/qqvideo/hori/m/m9pxexwf0drpnmp.jpg",
"https://i.gtimg.cn/qqlive/img/jpgcache/files/qqvideo/hori/8/81qsl9dzx9u3qsy.jpg",
"https://i.gtimg.cn/qqlive/img/jpgcache/files/qqvideo/hori/y/yx4t32ljyoi3u3f.jpg",
"https://i.gtimg.cn/qqlive/img/jpgcache/files/qqvideo/hori/n/nlidnunqfxozg06.jpg",
"https://i.gtimg.cn/qqlive/img/jpgcache/files/qqvideo/hori/o/oaaonxbpo2vug9z.jpg",
"https://i.gtimg.cn/qqlive/img/jpgcache/files/qqvideo/hori/j/jipf150styr6rzz.jpg",
"https://i.gtimg.cn/qqlive/img/jpgcache/files/qqvideo/hori/q/qfjtkh8xj1g6qlu.jpg",
"https://i.gtimg.cn/qqlive/img/jpgcache/files/qqvideo/hori/v/vj7ly51u3duxl0m.jpg",
"https://i.gtimg.cn/qqlive/img/jpgcache/files/qqvideo/hori/7/7kcf8a09yt0mkzh.jpg",
"https://i.gtimg.cn/qqlive/img/jpgcache/files/qqvideo/hori/r/r0y22kbbxwqrka0.jpg",
"https://i.gtimg.cn/qqlive/img/jpgcache/files/qqvideo/hori/4/4h6yggtuy79e0l2.jpg",
"https://i.gtimg.cn/qqlive/img/jpgcache/files/qqvideo/hori/6/6q6xn0f30eicfg6.jpg",
"https://i.gtimg.cn/qqlive/img/jpgcache/files/qqvideo/hori/d/dhcvxrp01wjp6mx.jpg",
"https://i.gtimg.cn/qqlive/img/jpgcache/files/qqvideo/hori/c/cp5204jkj4sz4ej.jpg",
"https://i.gtimg.cn/qqlive/img/jpgcache/files/qqvideo/hori/i/idzj991qx2yz1d6.jpg",
"https://i.gtimg.cn/qqlive/img/jpgcache/files/qqvideo/hori/o/o9l1w0min9rkswt.jpg",
"https://i.gtimg.cn/qqlive/img/jpgcache/files/qqvideo/hori/s/slow8lu2fd47jmk.jpg",
"https://i.gtimg.cn/qqlive/img/jpgcache/files/qqvideo/hori/z/z39368mvancetak.jpg",
"https://i.gtimg.cn/qqlive/img/jpgcache/files/qqvideo/hori/n/nynyqh4j3ogjros.jpg",
"https://i.gtimg.cn/qqlive/img/jpgcache/files/qqvideo/hori/d/dymgkvvf7r71o01.jpg",
"https://i.gtimg.cn/qqlive/img/jpgcache/files/qqvideo/hori/h/h130ic47259w194.jpg",
"https://i.gtimg.cn/qqlive/img/jpgcache/files/qqvideo/hori/t/tgzp8w3o6vsixsk.jpg",
"https://i.gtimg.cn/qqlive/img/jpgcache/files/qqvideo/hori/r/rw8ti5h44xagmdc.jpg",
"https://i.gtimg.cn/qqlive/img/jpgcache/files/qqvideo/hori/j/jcj12yel6i21unz.jpg",
"https://i.gtimg.cn/qqlive/img/jpgcache/files/qqvideo/hori/9/9j1cato2kzi36td.jpg",
"https://i.gtimg.cn/qqlive/img/jpgcache/files/qqvideo/hori/b/bzck5lw3aoxq30t.jpg",
"https://i.gtimg.cn/qqlive/img/jpgcache/files/qqvideohori/j/jzzcn4i0k9q3v8x.jpg",
"https://i.gtimg.cn/qqlive/img/jpgcache/files/qqvideo/hori/d/dt9sevrupdt1eqr.jpg",
"https://i.gtimg.cn/qqlive/img/jpgcache/files/qqvideo/hori/q/qwvcfzl987ydm63.jpg",
"https://i.gtimg.cn/qqlive/img/jpgcache/files/qqvideo/hori/z/zwyy7umzhkroixx.jpg",
"https://i.gtimg.cn/qqlive/img/jpgcache/files/qqvideo/hori/z/z6dbu03dirzxqw3.jpg",
"https://i.gtimg.cn/qqlive/img/jpgcache/files/qqvideo/hori/f/f9nnlzuo3t1ivqr.jpg",
"https://i.gtimg.cn/qqlive/img/jpgcache/files/qqvideo/hori/5/50rljwzmo3ur1xk.jpg",
"https://i.gtimg.cn/qqlive/img/jpgcache/files/qqvideo/hori/c/ceusrubximxm0g8.jpg",
"https://i.gtimg.cn/qqlive/img/jpgcache/files/qqvideo/hori/f/fse52rd4klx7qn2.jpg",
"https://i.gtimg.cn/qqlive/img/jpgcache/files/qqvideo/hori/e/e0jts33la7wbnfk.jpg",
"https://i.gtimg.cn/qqlive/img/jpgcache/files/qqvideo/hori/v/vjz5aa3svg25k9o.jpg",
"https://i.gtimg.cn/qqlive/img/jpgcache/files/qqvideo/hori/p/plcojs8omlnmx0u.jpg",
"https://i.gtimg.cn/qqlive/img/jpgcache/files/qqvideo/hori/1/1wo8nqtcxiywyt0.jpg",
"https://i.gtimg.cn/qqlive/img/jpgcache/files/qqvideo/hori/j/jxj5pth9h3a71sg.jpg",
"https://i.gtimg.cn/qqlive/img/jpgcache/files/qqvideo/hori/k/ky9n4c5q142hoie.jpg",
"https://i.gtimg.cn/qqlive/img/jpgcache/files/qqvideo/hori/l/lesch825u8n3f7q.jpg",
"https://i.gtimg.cn/qqlive/img/jpgcache/files/qqvideo/hori/f/fmy3srlfpa5wr53.jpg",
"https://i.gtimg.cn/qqlive/img/jpgcache/files/qqvideo/hori/b/b5plj5f6ubqefhl.jpg",
"https://i.gtimg.cn/qqlive/img/jpgcache/files/qqvideo/hori/0/0jg7avmrqufxs1c.jpg",
"https://i.gtimg.cn/qqlive/img/jpgcache/files/qqvideo/hori/z/z9r9fm4ly2rfvpd.jpg",
"https://i.gtimg.cn/qqlive/img/jpgcache/files/qqvideo/hori/y/ytt1vehodssd72f.jpg",
"https://i.gtimg.cn/qqlive/img/jpgcache/files/qqvideo/hori/e/e5ut86o83jknzb4.jpg",
"https://i.gtimg.cn/qqlive/img/jpgcache/files/qqvideo/hori/q/q66b2paz6v51hit.jpg",
"https://i.gtimg.cn/qqlive/img/jpgcache/files/qqvideo/hori/c/cgrk72z9g8ki79m.jpg",
"https://i.gtimg.cn/qqlive/img/jpgcache/files/qqvideo/hori/b/bmwttzsp8ynzgob.jpg",
"https://i.gtimg.cn/qqlive/img/jpgcache/files/qqvideo/hori/r/ru614whbc3iohz9.jpg",
"https://i.gtimg.cn/qqlive/img/jpgcache/files/qqvideo/hori/0/0kehru9lyz4jgza.jpg",
"https://i.gtimg.cn/qqlive/img/jpgcache/files/qqvideo/hori/a/a31m5tpokxzs2d2.jpg",
"https://i.gtimg.cn/qqlive/img/jpgcache/files/qqvideo/hori/t/tq3gi5f7bk9mdpo.jpg",
"https://i.gtimg.cn/qqlive/img/jpgcache/files/qqvideo/hori/i/idx47vmqorfcejz.jpg",
"https://i.gtimg.cn/qqlive/img/jpgcache/files/qqvideo/hori/s/shdkyyel6l054gi.jpg",
"https://i.gtimg.cn/qqlive/img/jpgcache/files/qqvideo/hori/u/ugojzwahhig6mrt.jpg",
"https://i.gtimg.cn/qqlive/img/jpgcache/files/qqvideo/hori/u/u9odb4umfd24clo.jpg",
"https://i.gtimg.cn/qqlive/img/jpgcache/files/qqvideo/hori/3/32xk4q5adald1c5.jpg",
"https://i.gtimg.cn/qqlive/img/jpgcache/files/qqvideo/hori/4/4iis09kg00j2jad.jpg",
"https://i.gtimg.cn/qqlive/img/jpgcache/files/qqvideo/hori/o/oztunl1y10j0c0o.jpg",
"https://i.gtimg.cn/qqlive/img/jpgcache/files/qqvideo/hori/z/ztsspja63l5unjy.jpg",
"https://i.gtimg.cn/qqlive/img/jpgcache/files/qqvideo/hori/i/iwc4pwpge54ke28.jpg",
"https://i.gtimg.cn/qqlive/img/jpgcache/files/qqvideo/hori/2/2y2sozvwasnzied.jpg",
"https://i.gtimg.cn/qqlive/img/jpgcache/files/qqvideo/hori/4/4fapbxqqoib0rmp.jpg",
"https://i.gtimg.cn/qqlive/img/jpgcache/files/qqvideo/hori/k/k94tbbn7zz7mmih.jpg",
"https://i.gtimg.cn/qqlive/img/jpgcache/files/qqvideo/hori/l/ldqd9xqar0b2ubz.jpg",
"https://i.gtimg.cn/qqlive/img/jpgcache/files/qqvideo/hori/t/tlnbop5i4hizeua.jpg",
"https://i.gtimg.cn/qqlive/img/jpgcache/files/qqvideo/hori/i/iasejxg44sniqsc.jpg",
"https://i.gtimg.cn/qqlive/img/jpgcache/files/qqvideo/hori/3/3v6gtppa4kjqpiv.jpg",
"https://i.gtimg.cn/qqlive/img/jpgcache/files/qqvideo/hori/d/dim0ikmncob56tu.jpg",
"https://i.gtimg.cn/qqlive/img/jpgcache/files/qqvideo/hori/t/tfn9ak1h0u6ip2o.jpg",
"https://i.gtimg.cn/qqlive/img/jpgcache/files/qqvideo/hori/3/3wwvag2dw1brrhk.jpg",
"https://i.gtimg.cn/qqlive/img/jpgcache/files/qqvideo/hori/6/6oysp96a4pku9up.jpg",
"https://i.gtimg.cn/qqlive/img/jpgcache/files/qqvideo/hori/b/b4e8yjwgokhr0lj.jpg",
"https://i.gtimg.cn/qqlive/img/jpgcache/files/qqvideo/hori/n/nuijxf6k13t6z9b.jpg",
"https://i.gtimg.cn/qqlive/img/jpgcache/files/qqvideo/hori/z/zze649rclsb5ymh.jpg",
"https://i.gtimg.cn/qqlive/img/jpgcache/files/qqvideo/hori/n/nlbv1rg9ddl85gp.jpg",
"https://i.gtimg.cn/qqlive/img/jpgcache/files/qqvideo/hori/p/pw3qbsy8y9u6jcu.jpg",
"https://i.gtimg.cn/qqlive/img/jpgcache/files/qqvideo/hori/2/21u6d3wzccq4g2y.jpg"};



prrety_girl
关注
专栏目录
网络爬虫url链接相对转绝对路径
Mr数据杨
02-09 3万+
通过本文的介绍，读者了解了如何使用Python内置的模块处理URL路径转换。通过几行代码，就可以轻松地将相对路径转换为绝对路径，避免网页抓取时遇到的404错误。此外，模块还提供了许多有用的URL解析和重构功能，可以帮助开发者在处理复杂URL时更加高效。掌握这些方法后，读者可以更好地进行网页数据采集，提升抓取的准确性和效率。
网页爬取图片
12-17
本项目使用java编写，通过输入网址可获取去网页所有的图片。
使用URL爬取图片
weixin_43957835的博客
02-15 705
一个简单的爬取百度图片的程序 小白刚写代码，参考了很多网上资料和教程，尤其是解决百度URL加密问题的方法，放在这里和大家分享一下，本贴只用于学习交流。 主要用了简单的正则来获取百度图片的URL路径，有一些URL无法连接，所以直接跳过了，下载后的文件也都强行以.jpg命名，为了运行后好看点已加入了一些控制台输出 代码如下： package com.jpg.get; import java.io.F...
http编程系列（一）——URL使用和爬取博客图片小DEMO
咸鱼老罗的博客
05-18 2103
URL简介和基本使用 浏览网页基本都用的http协议，java中也可以进行请求http服务器，并获得服务器响应。Java实现网络爬虫、抢购是用http进行。这里接收通过URL去访问http协议服务器，下图是网络请求流程。 简单例子 String urlStr = "http://127.0.0.1:8080/study_ssmvc/restful?id=1&name=2"; URL
利用Python爬取包图网图片和视频
weixin_39309402的博客
08-22 1122
目标：抓取包图网全站视频数据保存在本地，并以网站视频名命名视频文件。 网址：https://ibaotu.com/shipin/7-0-0-0-0-1.html 爬取第一步--检查 robots.txt 一般而言，大部分网站都会定义robots.txt 文件，该文件就是给 网络爬虫 了解爬取限制(一般建议遵守robots.txt 文件里面的限制） 如何查看这个 robots.txt 文件？ ==...
python怎么爬取图片地址_Python爬虫爬取一个网站上的图片地址实例代码
weixin_35714577的博客
01-29 1435
本文实例主要是实现爬取一个网站上的图片地址，详细如下。读取一个网站的源码：import urllib.requestdef getHtml(url):html=urllib.request.urlopen(url).read()return htmlprint(getHtml(http://image.baidu.com/search/flip?tn=baiduimage&ie=utf-8...
多线程爬虫批量下载pcgame图片url 保存为xml的实现代码
01-20
复制代码 代码如下:#coding=gbkfrom xml.dom import minidom,Nodeimport urllib2,re,osdef readsrc(src): try: url = urllib2.urlopen(src) content = url.read()#.decode(‘utf-8’) return content except: ...
爬虫+URL获取Img高宽
02-27
4. **获取图片尺寸**：有了图片URL，我们有两种方法获取图片的高度和宽度： - 发送HEAD请求：只请求图片的头部信息，其中可能包含图片的元数据，如尺寸。但这种方法并不总是可靠，因为不是所有服务器都会返回这些...
Python爬虫获取页面所有URL链接过程详解
12-17
如何获取一个页面内所有URL链接？在Python中可以使用urllib对网页进行爬取，然后利用Beautiful Soup对爬取的页面进行解析，提取出所有的URL。 什么是Beautiful Soup？ Beautiful Soup提供一些简单的、python式的函数...
图片爬虫：tp-url.py
07-29
该脚本的功能为爬取输入url里面所有的图片，会提示输入url，输入需要保存的文件夹。
Python之BeautifulSoup学习之一 粗略抓取网页图片连接地址
icydust的博客
11-10 8879
Windows/Python 2.7.11 利用BeautifulSoup库抓取页面的一些标签TAG值 粗略的抓取所有标签为img 属性为src的值（连接） 代码如下： #coding=utf-8 import urllib2 from bs4 import BeautifulSoup def getImg(url): html = urllib2.urlop
爬虫 | 正则表达式提取腾讯教育新闻链接及图片链接
王亨的博客
05-18 1710
前面的爬虫都是通过标签来爬取的，今天就分享一个小例子使用正则表达式来提取网页信息。如果你对正则表达式不熟悉，可以查看我之前写的R正则表达式这篇文章。它对R几个常用正则表达式进行了详尽的解释，包括参数说明，函数区别，正则表达式转义等都有介绍。今天通过爬取腾讯教育（http://edu.qq.com/）网页的所有关于教育新闻的链接，另外也爬取图片链接。提取新闻链接首先我们来分析一些教育类新闻链接的特点...
Python3根据URL下载图片
abstract_js的博客
04-05 1万+
代码如下： import urllib import urllib.request def get_image(url,stuNum): try: request = urllib.request.Request(url) response = urllib.request.urlopen(request) get_img = response.read() with open(‘D:\stuph...
js实现对上传图片进行压缩并且预览
热门推荐
感恩、奋进、自信
12-08 5万+
js实现对上传图片的路径转成base64编码，并且对图片进行压缩，实现预览功能 需要先引入jquery:  1、html如下 2、css如下 #previewImg{ background-color: black; width: 400px;
python 爬虫url下载图片
最新发布
08-16
# 找到图片元素，这里假设img标签内的src属性就是图片URL img_tags = soup.find_all('img') for img_tag in img_tags: img_url = img_tag['src'] # 构建完整的图片下载地址 full_img_url = urljoin(url, img...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值