java 简单爬虫_JAVA实现一个简单的爬虫

网络爬虫是一种自动获取网页内容的程序，是搜索引擎的重要组成部分。

用java打造属于自己的爬虫

网络上的图片太多 一个一个的保存实在太浪费时间

基于此 就使用了java做了一个小工具

功能是文件的复制 以及 网络上图片的下载

首先是封装一个IOUtlis类方法，用于实现文件的复制和文件传输流的关闭

package hh;

import java.io.FileInputStream;

import java.io.FileOutputStream;

import java.io.IOException;

import java.io.InputStream;

import java.io.OutputStream;

import java.io.Reader;

import java.io.Writer;

import java.net.*;

public class IOUtils

{

//buff缓冲区

public static void closeQuietly(FileOutputStream outpustream)

{

if(outpustream!=null)

{

try

{

outpustream.close();

}

catch (IOException e)

{

// TODO 自动生成的 catch 块

//e.printStackTrace();

}

}

}

public static void closeQuietly(FileInputStream inStream)

{

if(inStream!=null)

{

try

{

inStream.close();

}

catch (IOException e)

{

// TODO 自动生成的 catch 块

//e.printStackTrace();

}

}

}

public static void closeQuietly(Reader reader)

{

if(reader!=null)

{

try

{

reader.close();

}

catch(IOException e )

{

//

}

}

}

public static void copy(InputStream instream,OutputStream outputstream,int buff) throws IOException

{

byte[] buffer=new byte[buff];

int len;//计算读入的数据

if(instream==null)

{

throw new IllegalArgumentException("INPUTSTREAM不能为空");

}

if(outputstream==null)

{

throw new IllegalArgumentException("outputstream不能为空");

}

if(buff<=0)

{

throw new IllegalArgumentException("outputstream不能为空");

}

while((len=instream.read(buffer))>0)

{

//不知道怎么处理异常就让调用者处理

outputstream.write(buffer,0,len);

}

}

public static void copy(InputStream instream,OutputStream outputstream) throws IOException

{

copy(instream,outputstream,1024);

}

copy这个方法实现了文件的复制功能，closequietly将文件流安静的关闭

方案一

文件的复制，目的是将E盘的1.txt文件复制到W盘的2.txt文件里 最后不要忘了关闭文件的输入输出流

不然可能导致复制失败

package hh;

import java.io.FileInputStream;

import java.io.FileNotFoundException;

import java.io.FileOutputStream;

import java.io.IOException;

public class test {

public static void main(String[] args)

{

long startMS=System.currentTimeMillis();

FileInputStream fis=null;

FileOutputStream fos=null;

try

{

fis=new FileInputStream("E:\\1.txt");

fos=new FileOutputStream("W:\\2.txt");

IOUtils.copy(fis,fos,1024);

long endMS=System.currentTimeMillis();

System.out.println("拷贝完成 耗时"+(endMS-startMS));

} catch (FileNotFoundException e) {

// TODO Auto-generated catch block

e.printStackTrace();

} catch (IOException e) {

// TODO Auto-generated catch block

e.printStackTrace();

}

finally

{

try {

fos.close();

} catch (IOException e) {

// TODO Auto-generated catch block

e.printStackTrace();

}

try {

fis.close();

} catch (IOException e) {

// TODO Auto-generated catch block

e.printStackTrace();

}

}

}

方案二

调用了java.net.*;这个包 使用url类将图片地址比如下图画圈部分当做一个文件的输入流来使用，再使用copy方法将图片复制到本地。最后我发现该网站所有的图片都有一个特定的图片递增规则(可以考虑使用正则表达式)这样就可以通过变量来完成网站里所有的图片的下载

package hh;

import java.io.FileOutputStream;

import java.io.IOException;

import java.io.InputStream;

import java.io.OutputStream;

import java.net.*;

public class abc {

public static void main(String []args)

{

InputStream inpustream=null;

FileOutputStream outputstream=null;

try {

long start=System.currentTimeMillis();

int i=0;

for(i=1;i<550;i++)

{

URL url=new URL("http://www.bokee.com//topic/images/%E6%9C%AA%E6%A0%87%E9%A2%98-2("+i+").jpg");

inpustream=url.openStream();

// http://www.bokee.com//topic/images/%E6%9C%AA%E6%A0%87%E9%A2%98-1(530).jpg

//

//

outputstream=new FileOutputStream("W://main//"+i+".png");

IOUtils.copy(inpustream, outputstream);

}

long end=System.currentTimeMillis();

System.out.println("下载成功，耗时"+(start-end)+"毫秒");

}

catch (MalformedURLException e) {

// TODO Auto-generated catch block

e.printStackTrace();

} catch (IOException e) {

// TODO Auto-generated catch block

e.printStackTrace();

}

}

成果如下，最终满足了自己的需求，节省了时间。