别人家的程序员是如何利用JAVA进行Web抓取的？

最新推荐文章于 2021-03-11 16:20:20 发布
最新推荐文章于 2021-03-11 16:20:20 发布
阅读量103 收藏
点赞数

Web抓取非常有用，它可以收集信息供多种用途使用，如数据分析、统计、提供第三方信息，还可以给深神经网络和深度学习提供数据。


Web抓取是什么？


有一种非常广泛的误解，人们似乎把Web抓取和Web爬虫当成了同一种东西。所以我们先明确这一点。

两者有个非常显著的区别：

Web爬虫 ，指搜索或“爬”网页以获得任意信息的过程。通常是搜索引擎如Google、Yahoo或Bing的功能，以便给我们显示搜索结果。

Web抓取 ，指从特定的网站上利用特别定制的自动化软件手机信息的过程。


注意！


尽管Web抓取本身是从网站获取信息的合法方式，但如果使用不当，可能会变成非法。

有几种情况需要特别注意：

  • Web抓取可以被认为是拒绝服务攻击 ：发送太多请求来获取数据会给服务器带来太多压力，从而限制了正常用户访问网站的能力。

  • 无视版权法和服务条款 ：因为许多人、许多组织和公司都开发Web抓取软件来收集信息，给许多网站如Amazon、eBay、LinkedIn、Instagram、Facebook等带来了不小的麻烦。因此，绝大多数网站都禁止使用抓取软件获取他们的数据，你必须获得书面许可才能收集数据。

  • Web抓取可被恶意使用 ：抓取软件的行为很像机器人，一些框架甚至提供能够自动填写并提交表单的工具。因此可以被用作自动垃圾发送工具，甚至能攻击网站。这也是CAPTCHA存在的原因之一。

如果你想开发一个强大的抓取软件，请务必考虑以上几点，遵守法律和法规。


Web抓取框架


就像许多现代科技一样，从网站提取信息这一功能也有多个框架可以选择。最流行的有JSoup、HTMLUnit和Selenium WebDriver。我们这篇文章讨论JSoup。


JSoup


JSoup是个开源项目，提供强大的数据提取API。可以用它来解析给定URL、文件或字符串中的HTML。它还能操纵HTML元素和属性。

使用JSoup解析字符串

解析字符串是JSoup的最简单的使用方式。 



public

 

class

 

JSoupExample

 {



    


public

 

static

 

void

 

main

(

String[] args

) 

{



        String html = 

"<html><head><title>Website title</title></head><body><p>Sample paragraph number 1 </p><p>Sample paragraph number 2</p></body></html>"

;





        Document doc = Jsoup.parse(html);



        System.

out

.println(doc.title());



        Elements paragraphs = doc.getElementsByTag(

"p"

);



        

for

 (Element paragraph : paragraphs) {



            System.

out

.println(paragraph.text());



        }



    }

这段代码非常直观。调用parse()方法可以解析输入的HTML，将其变成Document对象。调用该对象的方法就能操纵并提取数据。

在上面的例子中，我们首先输出页面的标题。然后，我们获取所有带有标签“p”的元素。然后我们依次输出每个段落的文本。

运行这段代码，我们可以得到以下输出： 



Website

 title



Sample paragraph number 

1




Sample paragraph number 

2

使用JSoup解析URL

解析URL的方法跟解析字符串有点不一样，但基本原理是相同的： 



public

 

class

 

JSoupExample

 {



    


public

 

static

 

void

 

main

(

String[] args

) throws IOException 

{



        Document doc = Jsoup.connect(

"https://www.wikipedia.org"

).

get

();



        Elements titles = doc.getElementsByClass(

"other-project"

);



            

for

 (Element title : titles) {



                System.

out

.println(title.text());



        }



    }



}

要从URL抓取数据，需要调用connect()方法，提供URL作为参数。然后使用get()从连接中获取HTML。这个例子的输出为： 


Commons Freely usable photos & more



Wikivoyage Free travel guide



Wiktionary Free dictionary



Wikibooks Free textbooks



Wikinews Free news 

source




Wikidata Free knowledge base



Wikiversity Free course materials



Wikiquote Free quote compendium



MediaWiki Free & open wiki application



Wikisource Free 

library




Wikispecies Free species directory



Meta-Wiki Community coordination & documentation

可以看到，这个程序抓取了所有class为other-project的元素。

这种方法是最常用的，因此我们看一些通过URL进行抓取的其他例子。

抓取指定URL的所有链接 


 


public

 

void

 

allLinksInUrl

(


) throws IOException 

{



        Document doc = Jsoup.connect(

"https://www.wikipedia.org"

).

get

();



        Elements links = doc.

select

(

"a[href]"

);



        

for

 (Element link : links) {



            System.

out

.println(

"\nlink : "

 + link.attr(

"href"

));



            System.

out

.println(

"text : "

 + link.text());



        }



    }

运行结果是一个很长的列表： 


Link : 

//en.wikipedia.org/




Text : English 

5

 

678

 

000

+ articles



Link : 

//ja.wikipedia.org/




Text : 日本語 

1

 

112

 

000

+ 記事



Link : 

//es.wikipedia.org/




Text : Español 

1

 

430

 

000

+ artículos



Link : 

//de.wikipedia.org/




Text : Deutsch 

2

 

197

 

000

+ Artikel



Link : 

//ru.wikipedia.org/




Text : Русский 

1

 

482

 

000

+ статей



Link : 

//it.wikipedia.org/




Text : Italiano 

1

 

447

 

000

+ voci



Link : 

//fr.wikipedia.org/




Text : Français 

2

 

000

 

000

+ articles



Link : 

//zh.wikipedia.org/




Text : 中文 

1

 

013

 

000

+ 條目



<!--A bunch 

of

 other languages -->





Text : Wiktionary Free dictionary



Link : 

//www.wikibooks.org/




Text : Wikibooks Free textbooks



Link : 

//www.wikinews.org/




Text : Wikinews Free news source



Link : 

//www.wikidata.org/




Text : Wikidata Free knowledge base



Link : 

//www.wikiversity.org/




Text : Wikiversity Free course materials



Link : 

//www.wikiquote.org/




Text : Wikiquote Free quote compendium



Link : 

//www.mediawiki.org/




Text : MediaWiki Free & open wiki application



Link : 

//www.wikisource.org/




Text : Wikisource Free 

library




Link : 

//species.wikimedia.org/




Text : Wikispecies Free species directory



Link : 

//meta.wikimedia.org/




Text : Meta-Wiki Community coordination & documentation



Link : https:

//creativecommons.org/licenses/by-sa/3.0/




Text : Creative Commons Attribution-ShareAlike License



Link : 

//meta.wikimedia.org/wiki/Terms_of_Use




Text : Terms 

of

 Use



Link : 

//meta.wikimedia.org/wiki/Privacy_policy




Text : Privacy Policy

与此相似，你还可以得到图像的数量、元信息、表单参数等一切你能想到的东西，因此经常被用于获取统计数据。

使用JSoup解析文件 




public

 

void

 

parseFile

(


) throws URISyntaxException, IOException 

{



        URL path = ClassLoader.getSystemResource(

"page.html"

);



        File inputFile = 

new

 File(path.toURI());



        Document document = Jsoup.parse(inputFile, 

"UTF-8"

);



        System.

out

.println(document.title());



        

//parse document in any way




    }

如果要解析文件，就不需要给网站发送请求，因此不用担心运行程序会给服务器增添太多负担。尽管这种方法有许多限制，并且数据是静态的，因而不适合许多任务，但它提供了分析数据的更合法、更无害的方式。

得到的文档可以用前面说过的任何方式解析。

设置属性值

除了读取字符串、URL和文件并获取数据之外，我们还能修改数据和输入表单。

例如，在访问亚马逊时，点击左上角的网站标志，能返回到网站的首页。

如果想改变这个行为，可以这样做： 


 


public

 

void

 

setAttributes

(


) throws IOException 

{



        Document doc = Jsoup.connect(

"https://www.amazon.com"

).

get

();





        Element element = doc.getElementById(

"nav-logo"

);



        System.

out

.println(

"Element: "

 + element.outerHtml());



        element.children().attr(

"href"

, 

"notamazon.org"

);



        System.

out

.println(

"Element with set attribute: "

 + element.outerHtml());



    }

获取网站标志的id后，我们可以查看其HTML。还可以访问它的子元素，并改变其属性。 


Element: 


<

div

 

id

=

"nav-logo"

>

 



 

<

a

 

href

=

"/ref=nav_logo/135-9898877-2038645"

 

class

=

"nav-logo-link"

 

tabindex

=

"6"

>

 

<

span

 

class

=

"nav-logo-base nav-sprite"

>

Amazon

</

span

>

 

<

span

 

class

=

"nav-logo-ext nav-sprite"

></

span

>

 

<

span

 

class

=

"nav-logo-locale nav-sprite"

></

span

>

 

</

a

>

 



 

<

a

 

href

=

"/gp/prime/ref=nav_logo_prime_join/135-9898877-2038645"

 

aria-label

=

""

 

tabindex

=

"7"

 

class

=

"nav-logo-tagline nav-sprite nav-prime-try"

>

 Try Prime 

</

a

>

 



</

div

>







Element 

with

 set attribute: 


<

div

 

id

=

"nav-logo"

>

 



 

<

a

 

href

=

"notamazon.org"

 

class

=

"nav-logo-link"

 

tabindex

=

"6"

>

 

<

span

 

class

=

"nav-logo-base nav-sprite"

>

Amazon

</

span

>

 

<

span

 

class

=

"nav-logo-ext nav-sprite"

></

span

>

 

<

span

 

class

=

"nav-logo-locale nav-sprite"

></

span

>

 

</

a

>

 



 

<

a

 

href

=

"notamazon.org"

 

aria-label

=

""

 

tabindex

=

"7"

 

class

=

"nav-logo-tagline nav-sprite nav-prime-try"

>

 Try Prime 

</

a

>

 



</

div

>

默认情况下，两个<a>子元素都指向了各自的链接。将属性改变为别的值之后，可以看到子元素的href属性被更新了。

添加或删除类

除了设置属性值之外，我们还可以修改前面的例子，给元素添加或删除类： 


public 

void

 changePage() throws IOException {



        Document doc = Jsoup.connect(

"https://www.amazon.com"

).get();



        Element element = doc.getElementById(

"nav-logo"

);



        System.out.println(

"Original Element: "

 + element.outerHtml());



        


<!--Setting attributes -->




        element.children().attr("href", "notamazon.org");



        System.out.println("Element with set attribute: " + element.outerHtml());



        

<!--Adding classes -->




        element.addClass("someClass");



        System.out.println("Element with added class: " + element.outerHtml());



        

<!--Removing classes -->




        element.removeClass("someClass");



        System.out.println("Element with removed class: " + element.outerHtml());



    }

运行代码会给我们以下信息： 


Original Element: 

<

div

 

id

=

"nav-logo"

>

 



 

<

a

 

href

=

"/ref=nav_logo/135-1285661-0204513"

 

class

=

"nav-logo-link"

 

tabindex

=

"6"

>

 

<

span

 

class

=

"nav-logo-base nav-sprite"

>

Amazon

</

span

>

 

<

span

 

class

=

"nav-logo-ext nav-sprite"

></

span

>

 

<

span

 

class

=

"nav-logo-locale nav-sprite"

></

span

>

 

</

a

>

 



 

<

a

 

href

=

"/gp/prime/ref=nav_logo_prime_join/135-1285661-0204513"

 

aria-label

=

""

 

tabindex

=

"7"

 

class

=

"nav-logo-tagline nav-sprite nav-prime-try"

>

 Try Prime 

</

a

>

 



</

div

>






Element with set attribute: 

<

div

 

id

=

"nav-logo"

>

 



 

<

a

 

href

=

"notamazon.org"

 

class

=

"nav-logo-link"

 

tabindex

=

"6"

>

 

<

span

 

class

=

"nav-logo-base nav-sprite"

>

Amazon

</

span

>

 

<

span

 

class

=

"nav-logo-ext nav-sprite"

></

span

>

 

<

span

 

class

=

"nav-logo-locale nav-sprite"

></

span

>

 

</

a

>

 



 

<

a

 

href

=

"notamazon.org"

 

aria-label

=

""

 

tabindex

=

"7"

 

class

=

"nav-logo-tagline nav-sprite nav-prime-try"

>

 Try Prime 

</

a

>

 



</

div

>






Element with added class: 

<

div

 

id

=

"nav-logo"

 

class

=

"someClass"

>

 



 

<

a

 

href

=

"notamazon.org"

 

class

=

"nav-logo-link"

 

tabindex

=

"6"

>

 

<

span

 

class

=

"nav-logo-base nav-sprite"

>

Amazon

</

span

>

 

<

span

 

class

=

"nav-logo-ext nav-sprite"

></

span

>

 

<

span

 

class

=

"nav-logo-locale nav-sprite"

></

span

>

 

</

a

>

 



 

<

a

 

href

=

"notamazon.org"

 

aria-label

=

""

 

tabindex

=

"7"

 

class

=

"nav-logo-tagline nav-sprite nav-prime-try"

>

 Try Prime 

</

a

>

 



</

div

>






Element with removed class: 

<

div

 

id

=

"nav-logo"

>

 



 

<

a

 

href

=

"notamazon.org"

 

class

=

"nav-logo-link"

 

tabindex

=

"6"

>

 

<

span

 

class

=

"nav-logo-base nav-sprite"

>

Amazon

</

span

>

 

<

span

 

class

=

"nav-logo-ext nav-sprite"

></

span

>

 

<

span

 

class

=

"nav-logo-locale nav-sprite"

></

span

>

 

</

a

>

 



 

<

a

 

href

=

"notamazon.org"

 

aria-label

=

""

 

tabindex

=

"7"

 

class

=

"nav-logo-tagline nav-sprite nav-prime-try"

>

 Try Prime 

</

a

>

 



</

div

>

可以把新的代码以.html形式保存到本机，或者通过HTTP请求发送大欧网站上，不过要注意后者可能是非法的。


来自 “ ITPUB博客 ” ，链接：http://blog.itpub.net/69911082/viewspace-2636890/，如需转载，请注明出处，否则将追究法律责任。

转载于:http://blog.itpub.net/69911082/viewspace-2636890/

cuishi1999
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
java抓包教程_浅谈、如何基于java的网络抓包方法？
weixin_36274181的博客
02-12 1236
一、实验内容描述本实验是用java实现的网络抓包程序，在windows环境下安装winpcap4.0和jpcap6.0后，下载eclipse和jigloo插件(一种在eclipse底下作图形化开发的工具)，将其安装好，然后就可以进行java的网络抓包图形化开发了。二、原理与关键技术2.1网络抓包技术原理网络层上有各种各样的数据包，它们以不同的帧格式在网络层上进行传输，但是在传输时它们都遵循相同的格...
java抓取百度搜索结果_selenium-java web自动化测试工具抓取百度搜索结果实例
weixin_39664995的博客
02-16 359
selenium-java web自动化测试工具抓取百度搜索结果实例这种方式抓百度的搜索关键字结果非常容易抓长尾关键词，根据热门关键词去抓更多内容可以用抓google，百度的这种内容容易给屏蔽，用这种就不会了1.新建maven项目，引入selenium-javaorg.seleniumhq.seleniumselenium-java3.8.12.写代码(因为自动化测试速度极快，每个步骤后都稍微停顿...
用JAVA实现的抓包程序
04-27
这是一款用java实现的抓包程序，你需要下载Jpcap7.0并安装后方可使用，另外本程序以sql2000做为数据的存储数据库。
别人家的程序员是如何使用 Java 进行 Web 抓取的？
CSDN资讯
08-05 1091
Web抓取非常有用，它可以收集信息供多种用途使用，如数据分析、统计、提供第三方信息，还可以给深神经网络和深度学习提供数据。Web抓取是什么？有一种非常广泛的误解，人们似乎...
使用Fiddler捕获java的网络通信数据
googlevsbing的专栏
03-04 4933
Fiddler启动时已经将自己注册为系统的默认代理服务器，应用程序在访问网络时会去获取系统的默认代理，如果需要捕获java访问网络时的数据，只需要在启动java程序时设置 代理服务器为Fiddler即可   -DproxySet=true -DproxyHost=127.0.0.1 -DproxyPort=8888 -D 是java中设置系统变量的方式 下面的帖子很清楚的说明
Jpcap 0.7.rpm 捕获Java程序中的网络包 Linux
05-16
捕获Java程序中的网络包，是需要一些辅助工具，因为核心Java API不能访问底层的网络数据。Jpcap是一种提供在Windows或UNIX系统上进行这种访问的Java API。
大学生JAVA程序员周记,java程序员实习周记.docx
weixin_32287563的博客
03-11 1547
2016全新精品资料-全新公文范文-全程指导写作 –独家原创 PAGE1 / NUMPAGES19java程序员实习周记为大家带来的，希望对大家有所帮助。　　java程序员实习第一周　　XML：概念：可扩展的标记语言、优点：结构化，平台、语言无关，标准的　　XML读写XML格式的文档，完成数据交换、声明...
java实习周记_java程序员的实习周记
weixin_33784572的博客
02-19 5951
java程序员的实习周记第一周XML：概念：可扩展的标记语言、优点：结构化，平台、语言无关，标准的XML读写XML格式的文档，完成数据交换、声明：大多数XML文档以XML声明作为开始、建议使用XML声明，但它不是必需的。如果有，它一定是文档的第一行内容。、注释、实体：不能直接表示的符号、五个实体、自定义实体、CDATA：一段文本，不会被解析器解析。Log4j：是Apache的一个开放源代码项目，通...
《Java 程序员眼中的 Linux》.zip
07-08
《Java程序员眼中的Linux》是一本专为Java开发者设计的指南，旨在帮助他们更好地理解和利用Linux操作系统来优化Java应用程序的开发、部署和维护。Linux以其开源、稳定和高性能的特性，已经成为开发者的首选平台，...
是一个网页爬虫工具，专门对网页内容进行抓取和解析
05-20
它可能采用了多线程或者异步IO技术，以充分利用现代多核处理器的性能，同时通过智能调度算法优化网络请求，减少了等待时间，提高了整体爬取效率。 **二、易用性增强** 易用性是任何工具成功的关键因素之一。Spider...
GatherPlatform数据抓取平台
08-08
**GatherPlatform数据抓取平台** 是一个专为数据采集和搜索设计的高效工具，它构建于**Webmagic内核**之上，提供了便捷的Web任务配置和任务管理界面。Webmagic是一个开源的Java爬虫框架，它以轻量级、模块化和高度可...
[Web-Harvest数据采集之二]Web-Harvest基础-抓取java代码分析
12-14
在这个主题中，我们将深入探讨Web-Harvest的基础知识，特别是如何利用它来抓取Java代码进行分析。在进行数据采集时，理解配置文件、抓取类以及所需依赖的JAR包是至关重要的。 首先，让我们从配置文件开始。Web-...
jBrowserDriver是一个纯Java编写的可编程嵌入式的浏览器驱动基于WebKit
08-07
jBrowserDriver是一个强大的工具，专为Java开发者设计，它允许程序员以编程方式控制和自动化Web浏览器。作为一个纯Java实现的浏览器驱动，jBrowserDriver完全摒弃了传统的图形用户界面，转而依赖于WebKit渲染引擎来...
java基础-抓包工具的使用
一个普通程序员的碎碎念
01-13 819
1.在windows环境下     然后 就可以分析tcp的报文了 但是捕获环回数据包不行，比如我本地启动了一个tomcat应用，用本地环回数据包捕获 就无法捕获。   2.在linux环境下，我们可以使用tcpdump来进行分析 [root@paas-boss-db1 tcpdump-4.3.0]# ./tcpdump port 8080tcpdump: verbose o...
java简单实现抓取动态网页数据
热门推荐
假的太真的博客
04-19 1万+
在这里我分享一段简单的获取js执行后的网页数据！1.先建立一个maven工程在这里我随便建了一个web工程！2.将chromedriver.exe 文件放在安装谷歌的目录:下载地址：http://cdn.npm.taobao.org/dist/chromedriver/2.34/chromedriver_win32.zip根据你安装的Google路径比如：C:\\Program Files (x8...
抓取某店铺的ebayno
zn505119020的专栏
12-14 1616
import random from http.cookiejar import CookieJar import requests from bs4 import BeautifulSoup import numpy as np import re import os from queue import Queue import time import random import threadi
对于安卓渣机开启性能模式
最新发布
07-10
目前手机更新速度很快，对于很多老手机很不友好，为了让老手机的性能提升，有一款软件《安卓火力全开》能够让4年前的手机依然变得很好用。但是在此期间一定要自行注意温控。
lstm简介及基础教程和实用案例分析及特点阐述.txt
07-10
lstmlstm简介及基础教程和实用案例分析及特点阐述.txtlstm简介及基础教程和实用案例分析及特点阐述.txtlstm简介及基础教程和实用案例分析及特点阐述.txtlstm简介及基础教程和实用案例分析及特点阐述.txtlstm简介及基础教程和实用案例分析及特点阐述.txtlstm简介及基础教程和实用案例分析及特点阐述.txtlstm简介及基础教程和实用案例分析及特点阐述.txtlstm简介及基础教程和实用案例分析及特点阐述.txtlstm简介及基础教程和实用案例分析及特点阐述.txtlstm简介及基础教程和实用案例分析及特点阐述.txtlstm简介及基础教程和实用案例分析及特点阐述.txtlstm简介及基础教程和实用案例分析及特点阐述.txtlstm简介及基础教程和实用案例分析及特点阐述.txtlstm简介及基础教程和实用案例分析及特点阐述.txtlstm简介及基础教程和实用案例分析及特点阐述.txtlstm简介及基础教程和实用案例分析及特点阐述.txtlstm简介及基础教程和实用案例分析及特点阐述.txtlstm简介及基础教程和实用案例分析及特点阐述.txtlstm简介及基础教
未来程序员的发展你觉得是什么？
03-31
作为AI语言模型，我认为未来程序员的发展将与技术的发展密切相关。随着新技术的诞生，程序员将需要不断学习和适应新的语言、框架和工具。未来程序员将需要具备更加广泛的技能，包括机器学习、人工智能、区块链等。...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值