java编写爬虫_手把手教你从零开始用Java写爬虫

本文将手把手地教大家从零开始用Java写一个简单地爬虫！

目标

爬取全景网图片，并下载到本地

收获

通过本文，你将复习到：IDEA创建工程

IDEA导入jar包

爬虫的基本原理

Jsoup的基本使用

File的基本使用

FileOutputStream的基本使用

ArrayList的基本使用

foreach的基本使用

说明

爬虫所用的HTM解析器为Jsoup。Jsoup可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API，可通过DOM，CSS以及类似于jQuery的操作方法来取出和操作数据。

Jsoup相关API整理见文末附录一。

开始

一、前端分析

1、使用Chrome或其他浏览器，打开全景网，按F12进入调试模式，分析网页结构。(这里选的是“创意”=>“优山美地”)

2、找规律，看图片对应的结构是什么。可以发现，每个图片的结构都如下图红框所示。

3、找到结构后再找图片链接。进一步分析后发现，图片链接可以是下图红框部分。

4、复制到浏览器打开看看验证下。(好吧，访问这个URL直接给我下载了...)

5、前端部分分析完毕，接下来就可以用Java编码了！

二、爬取思路

通过Java向全景网发送GET请求，以获取HTML文件。Jsoup解析后寻找class=item lazy的a标签，他的child节点(即)就是我们要找的目标节点了，搜索到的应当是一个ArrayList。然后遍历集合，从中搜寻图片的URL，并下载到本地保存。(更深一步，可以下载完一页后，继续下载后一页，直至全部下完。本文直讲下载第一页。提示一下，链接后面的topic/1其实就是当前页数)

三、Java编码

1、先下载Jsoup jar包，并导入到IDEA工程中。

2、新建Java工程。

3、简单测试下get请求，若请求成功，则进入下一步；若报错，检查URL是否带了中文。

package com.sxf;

import org.jsoup.Jsoup;

import org.jsoup.nodes.Document;

​

public class Main {

public static void main(String[] args) {

try {

Document doc = Jsoup.connect("https://www.quanjing.com/creative/topic/1").get();

System.out.println(doc);

}catch (Exception e){

e.printStackTrace();

}

}

}

4、寻找class为item lazy的元素,找到他的child节点，返回ArrayList。并将图片的URL单独提取出来。

public static void main(String[] args) {

try {

Document doc = Jsoup.connect("https://www.quanjing.com/creative/topic/1").get();

// 寻找class为item lazy的元素,返回ArrayList。

Elements items = doc.getElementsByClass("item lazy");

ArrayList URLS = new ArrayList<>();

for (Element i : items) {

// 将图片的URL单独提取出来。

URLS.add(i.child(0).attr("src"));

}

for (String str : URLS) {

System.out.println(str);

}

}catch (Exception e){

e.printStackTrace();

}

}

5、我们先尝试用Jsoup下载一张图片试试效果。

// 获取response

Connection.Response imgRes = Jsoup.connect(URLS.get(0)).ignoreContentType(true).execute();

FileOutputStream out = (new FileOutputStream(new java.io.File("demo.jpg")));

// imgRes.body() 就是图片数据

out.write(imgRes.bodyAsBytes());

out.close();

可以看到在当前工程路径下，生成了demo.jpg图片，并且显示正常！

6、接下来，我们要创建一个文件夹，用来专门存放图片。

File相关API整理见文末附录二。

//当前路径下创建Pics文件夹

File file = new File("Pics");

file.mkdir();

System.out.println(file.getAbsolutePath());

7、接下来开始遍历图片并下载。由于图片较多，为了简单起见，我们保存图片时候的名称，就从1开始依次增吧。

// 遍历图片并下载

int cnt = 1;

for (String str : URLS) {

System.out.println(">> 正在下载："+str);

// 获取response

Connection.Response imgRes = Jsoup.connect(str).ignoreContentType(true).execute();

FileOutputStream out = (new FileOutputStream(new java.io.File(file, cnt+".jpg")));

// imgRes.body() 就是图片数据

out.write(imgRes.bodyAsBytes());

out.close();

cnt ++;

}

运行结果

到此编码部分也结束了，完整代码见文末附件三！

欢迎关注：

微信公众号：xfxuezhang

今日头条：小锋学长

附录一

Jsoup(HTML解析器)

继承关系：Document继承Element继承Node。TextNode继承Node。

->java.lang.Object

->org.jsoup.nodes.Node

->org.jsoup.nodes.Element

->org.jsoup.nodes.Document

html文档：Document

元素操作：Element

节点操作：Node

​

官方API：https://jsoup.org/apidocs/org/jsoup/nodes/Document.html

一、解析HTML并取其内容

Document doc = Jsoup.parse(html);

​

二、解析一个body片断

Document doc = Jsoup.parseBodyFragment(html);

Element body = doc.body();

​

三、从一个URL加载一个Document

Document doc = Jsoup.connect("http://example.com")

.data("query", "Java")

.userAgent("Mozilla")

.cookie("auth", "token")

.timeout(3000)

.post();

String title = doc.title();

​

四、从一个文件加载一个文档

File input = new File("/tmp/input.html");

// baseUri 参数用于解决文件中URLs是相对路径的问题。如果不需要可以传入一个空的字符串

Document doc = Jsoup.parse(input, "UTF-8", "http://example.com/");

​

五、使用DOM方法来遍历一个文档

1、查找元素

getElementById(String id)

getElementsByTag(String tag)

getElementsByClass(String className)

getElementsByAttribute(String key) // 和相关方法

// 元素同级

siblingElements()

firstElementSibling()

lastElementSibling()

nextElementSibling()

previousElementSibling()

// 关系

parent()

children()

child(int index)

​

2、元素数据

// 获取属性attr(String key, String value)设置属性

attr(String key)

// 获取所有属性

attributes()

id()

className()

classNames()

// 获取文本内容text(String value) 设置文本内容

text()

// 获取元素内HTMLhtml(String value)设置元素内的HTML内容

html()

// 获取元素外HTML内容

outerHtml()

// 获取数据内容(例如：script和style标签)

data()

tag()

tagName()

​

3、操作HTML和文本

append(String html)

prepend(String html)

appendText(String text)

prependText(String text)

appendElement(String tagName)

prependElement(String tagName)

html(String value)

六、使用选择器语法来查找元素(类似于CSS或jquery的选择器语法)

//带有href属性的a元素

Elements links = doc.select("a[href]");

//扩展名为.png的图片

Elements pngs = doc.select("img[src$=.png]");

//class等于masthead的div标签

Element masthead = doc.select("div.masthead").first();

//在h3元素之后的a元素

Elements resultLinks = doc.select("h3.r > a");

​

七、从元素抽取属性、文本和HTML

1、要取得一个属性的值，可以使用Node.attr(String key) 方法

2、对于一个元素中的文本，可以使用Element.text()方法

3、对于要取得元素或属性中的HTML内容，可以使用Element.html(), 或 Node.outerHtml()方法

4、其他：

Element.id()

Element.tagName()

Element.className()

Element.hasClass(String className)

附录二

File类

*java.io.File类用于表示文件或目录。*

创建File对象:

// 文件/文件夹路径对象

File file = new File("E:/...");

// 父目录绝对路径 + 子目录名称

File file = new File("..." ,"");

// 父目录File对象 + 子目录名称

File file = new File("...","...");

file.exists():判断文件/文件夹是否存在

file.delete():删除文件/文件夹

file.isDirectory():判读是否为目录

file.isFile():判读是否为文件夹

file.mkdir():创建文件夹(仅限一级目录)

file.mkdirs():创建多及目录文件夹(包括但不限一级目录)

file.createNewFile():创建文件

file.getAbsolutePath():得到文件/文件夹的绝对路径

file.getName():得到文件/文件夹的名字

file.String():同样是得到文件/文件夹的绝对路径等于file.getAbsolutePath()

file.getParent():得到父目录的绝对路径

附录三

完整代码

package com.sxf;

​

import org.jsoup.Connection;

import org.jsoup.Jsoup;

import org.jsoup.nodes.Document;

import org.jsoup.nodes.Element;

import org.jsoup.select.Elements;

import java.io.File;

import java.io.FileOutputStream;

import java.util.ArrayList;

​

public class Main {

public static void main(String[] args) {

try {

Document doc = Jsoup.connect("https://www.quanjing.com/creative/topic/1").get();

// 寻找class为item lazy的元素,返回ArrayList。

Elements items = doc.getElementsByClass("item lazy");

ArrayList URLS = new ArrayList<>();

// 将图片的URL单独提取出来。

for (Element i : items) {

URLS.add(i.child(0).attr("src"));

}

// 当前路径下创建Pics文件夹

File file = new File("Pics");

file.mkdir();

String rootPath = file.getAbsolutePath();

System.out.println(">> 当前路径："+rootPath);

// 遍历图片并下载

int cnt = 1;

for (String str : URLS) {

System.out.println(">> 正在下载："+str);

// 获取response

Connection.Response imgRes = Jsoup.connect(str).ignoreContentType(true).execute();

FileOutputStream out = (new FileOutputStream(new java.io.File(file, cnt+".jpg")));

// imgRes.body() 就是图片数据

out.write(imgRes.bodyAsBytes());

out.close();

cnt ++;

}

}catch (Exception e){

e.printStackTrace();

}

}

}