利用Jsoup爬取网页内容

最新推荐文章于 2024-07-21 21:39:32 发布
最新推荐文章于 2024-07-21 21:39:32 发布
阅读量5.9k 收藏 6
点赞数 2
分类专栏： Android 文章标签： Jsoup
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xieluoxixi/article/details/52430830
版权

jsoup的强大之处在这里就不多说，最近在写项目，需要爬取网页上的内容，自然想到的是利用Jsoup来处理，项目中是利用Jsoup爬取学校信息门户的新闻消息，然后放进客户端

网页的html代码如下

<div class="zw_content" ><p><img src="/attach/2016/09/02/123920.jpg" width="800" height="533"/></p><p style="LINE-HEIGHT: 150%; TEXT-INDENT: 32px"><span style="LINE-HEIGHT: 150%; FONT-FAMILY: 宋体; FONT-SIZE: 16px">8</span><span style="LINE-HEIGHT: 150%; FONT-FAMILY: 宋体; FONT-SIZE: 16px">月30日，日照市常务副市长王斌一行人来我校进行调研。校长戚万学，副校长康淑敏、杨冰等热情接待了王斌一行。校区管理办公室、学生工作办公室等相关负责人参加了座谈。</span></p><p style="LINE-HEIGHT: 150%; TEXT-INDENT: 32px"><span style="LINE-HEIGHT: 150%; FONT-FAMILY: 宋体; FONT-SIZE: 16px">王斌表示，曲阜师范大学有深厚的文化与学术底蕴，形成了独具特色的办学传统与学科优势，为服务日照、校地合作积极创造条件，建立校地资源共享、共同合作的良性渠道，为日照市社会发展做出了重要贡献，为日照市文化经济发展提供了支持，实现了社会建设的人才保障。</span></p><p style="LINE-HEIGHT: 150%; TEXT-INDENT: 32px"><span style="LINE-HEIGHT: 150%; FONT-FAMILY: 宋体; FONT-SIZE: 16px">戚万学对日照市委市政府给予的支持和帮助表示了感谢，并表明我校将进一步提高办学层次、加强人才培养，大力促进校地、校企合作，为日照市输送更多的优秀人才，实现学校建设与社会发展的共赢。我们将本着资源共享、互惠共赢的原则，以项目（课题）为纽带、整合学科资源、发挥人才优势与日照市加强合作和交流，为新丝绸之路经济带建设与发展做出贡献。</span></p><p style="LINE-HEIGHT: 150%; TEXT-INDENT: 32px"><a name="_GoBack"></a><span style="LINE-HEIGHT: 150%; FONT-FAMILY: 宋体; FONT-SIZE: 16px">(</span><span style="LINE-HEIGHT: 150%; FONT-FAMILY: 宋体; FONT-SIZE: 16px">作者：李艳梅  来源：校区管理办公室  编辑：校区管理办公室  责编：孙琪)</span></p><p></p></div>



项目中，需要爬取出新闻中的图片超链接，还有新闻文字内容，功能代码如下，、由于每个新闻中图片的超链接数目不一定一样，防止java向外抛异常，需要自己try-catch处理 

private static void getItemContent() {
		// TODO Auto-generated method stub
		Document doc ;
		
		try {
			doc = Jsoup.connect("http://www.qfnu.edu.cn/html/xxyw/2016/09/02/d6f4656a-7349-4632-8634-27d30daaf3ad.html").get();
			
			Elements listClass = doc.getElementsByAttributeValue("class", "zw_content");
			String url2;
			for (Element listItem : listClass){
				String url1 = listItem.getElementsByTag("img").get(0).attr("src");
				try{
					url2= listItem.getElementsByTag("img").get(1).attr("src");
				}catch(Exception e){
					url2="1111";
				}
				
				String text = listItem.getElementsByTag("span").text();
				System.out.println(text);
				System.out.println(url1);
				System.out.println(url2);
						
			}
			
			
		} catch (IOException e) {
			// TODO Auto-generated catch block
			e.printStackTrace();
		}
	}

爬取到的内容如下

8 月30日，日照市常务副市长王斌一行人来我校进行调研。校长戚万学，副校长康淑敏、杨冰等热情接待了王斌一行。校区管理办公室、学生工作办公室等相关负责人参加了座谈。 王斌表示，曲阜师范大学有深厚的文化与学术底蕴，形成了独具特色的办学传统与学科优势，为服务日照、校地合作积极创造条件，建立校地资源共享、共同合作的良性渠道，为日照市社会发展做出了重要贡献，为日照市文化经济发展提供了支持，实现了社会建设的人才保障。 戚万学对日照市委市政府给予的支持和帮助表示了感谢，并表明我校将进一步提高办学层次、加强人才培养，大力促进校地、校企合作，为日照市输送更多的优秀人才，实现学校建设与社会发展的共赢。我们将本着资源共享、互惠共赢的原则，以项目（课题）为纽带、整合学科资源、发挥人才优势与日照市加强合作和交流，为新丝绸之路经济带建设与发展做出贡献。 ( 作者：李艳梅? 来源：校区管理办公室? 编辑：校区管理办公室? 责编：孙琪)
/attach/2016/09/02/123920.jpg     //第一个图片的超链接
1111            //如果没有第二个图片，侧打印自定义的URl



另一段需要爬取html代码


  <div cmsid="20085636"  class="news-1-list clearF" id="news-1-list">
            <ul class="news-1-lists" id="news-1-lists">
                            <li  class="news-on" > <img src="/attach/2016/09/02/123921.jpg" title="我校在山东高校思政课讲课大赛中斩获佳绩" alt="我校在山东高校思政课讲课大赛中斩获佳..." width="101" height="64"> <span class="floatR">[09-02]</span><a href="/html/xxyw/2016/09/02/4648a396-c778-4116-ae79-6e61039ad9a3.html" class="floatL" title="我校在山东高校思政课讲课大赛中斩获佳绩">我校在山东高校思政课讲课大赛中斩获佳绩
                <p>近日，第二届山东高校思政课讲课大赛（决赛）在济南举行。经过...</p>
                </a> </li>
                            <li > <img src="/attach/2016/09/02/123920.jpg" title="日照市常务副市长王斌一行来我校调研" alt="日照市常务副市长王斌一行来我校调研" width="101" height="64"> <span class="floatR">[09-02]</span><a href="/html/xxyw/2016/09/02/d6f4656a-7349-4632-8634-27d30daaf3ad.html" class="floatL" title="日照市常务副市长王斌一行来我校调研">日照市常务副市长王斌一行来我校调研
                <p>8月30日，日照市常务副市长王斌一行人来我校进行调研。校长戚...</p>
                </a> </li>
                            <li > <img src="/attach/2016/09/01/123836.jpg" title="我校与济宁高新区签署共建大学生创业孵化基地协议" alt="我校与济宁高新区签署共建大学生创业孵..." width="101" height="64"> <span class="floatR">[09-01]</span><a href="/html/xxyw/2016/09/01/b457fe77-7bdc-4430-a7a2-d58e4c1101bf.html" class="floatL" title="我校与济宁高新区签署共建大学生创业孵化基地协议">我校与济宁高新区签署共建大学生创业孵化基地协议
                <p>8月31日下午，曲阜师范大学与济宁软件园共建大学生创业孵化基...</p>
                </a> </li>
                            <li > <img src="/attach/2016/08/31/123710.jpg" title="学校对科研实验室安全检查工作做出部署" alt="学校对科研实验室安全检查工作做出部署" width="101" height="64"> <span class="floatR">[08-31]</span><a href="/html/xxyw/2016/08/31/a0ead4f5-79fe-4e7c-bdf7-4fef9336de30.html" class="floatL" title="学校对科研实验室安全检查工作做出部署">学校对科研实验室安全检查工作做出部署
                <p>　　根据山东省教育厅转发教育部科技司《关于开展2016年度高校...</p>
                </a> </li>
                            <li > <img src="/attach/2016/08/30/123658.jpg" title="学校领导深入各单位检查新学期开学工作" alt="学校领导深入各单位检查新学期开学工作" width="101" height="64"> <span class="floatR">[08-30]</span><a href="/html/xxyw/2016/08/30/d77063c3-8c70-4386-be04-4cb806856332.html" class="floatL" title="学校领导深入各单位检查新学期开学工作">学校领导深入各单位检查新学期开学工作
                <p>　　　　　不忘初心再启程，争创一流快起步。8月29日上午，新...</p>
                </a> </li>
                            <li > <img src="/attach/2016/08/30/123654.jpg" title="我校在全国高等院校健身气功赛中获佳绩" alt="我校在全国高等院校健身气功赛中获佳绩" width="101" height="64"> <span class="floatR">[08-30]</span><a href="/html/xxyw/2016/08/30/056dfcb5-ca75-495e-a103-fe426f0a9ff4.html" class="floatL" title="我校在全国高等院校健身气功赛中获佳绩">我校在全国高等院校健身气功赛中获佳绩
                <p>7月24日至29日，2016年全国高等院校健身气功比赛在内蒙古呼和...</p>
                </a> </li>
                            <li > <img src="/attach/2016/08/30/123653.jpg" title="校长戚万学会见新西兰客人" alt="校长戚万学会见新西兰客人" width="101" height="64"> <span class="floatR">[08-30]</span><a href="/html/xxyw/2016/08/30/aa9a0b89-2487-4a8b-ae18-bae1b54facae.html" class="floatL" title="校长戚万学会见新西兰客人">校长戚万学会见新西兰客人
                <p>8月27日下午，新西兰《中新时报》社社长崔立寰先生一行三人应...</p>
                </a> </li>
                            <li > <img src="/attach/2016/08/29/123609.jpg" title="我校学生在全国大学生物理教学技能展示中获骄人成绩" alt="我校学生在全国大学生物理教学技能展示..." width="101" height="64"> <span class="floatR">[08-29]</span><a href="/html/xxyw/2016/08/29/4698415f-0656-42de-a2d5-3e339f721840.html" class="floatL" title="我校学生在全国大学生物理教学技能展示中获骄人成绩">我校学生在全国大学生物理教学技能展示中获骄人成...
                <p>7月29日至31日，由中国教育学会物理教学专业委员会主办的全国...</p>
                </a> </li>
                            <li > <img src="/attach/2016/08/29/123606.jpg" title="2016年算子代数研讨会召开" alt="2016年算子代数研讨会召开" width="101" height="64"> <span class="floatR">[08-29]</span><a href="/html/xxyw/2016/08/29/e378f047-0a90-4a4b-87f1-0154adfdbf62.html" class="floatL" title="2016年算子代数研讨会召开">2016年算子代数研讨会召开
                <p>由曲阜师范大学数学科学学院主办、重庆师范大学数学科学学院协...</p>
                </a> </li>
                            <li > <img src="/attach/2016/08/28/123425.jpg" title="我校2016年暑期干部学习班成功举行" alt="我校2016年暑期干部学习班成功举行" width="101" height="64"> <span class="floatR">[08-28]</span><a href="/html/xxyw/2016/08/28/95986304-7e98-4f5c-942b-30d551f5d4b2.html" class="floatL" title="我校2016年暑期干部学习班成功举行">我校2016年暑期干部学习班成功举行
                <p>8月26日—27日，我校2016年暑期干部学习班在日照校区举行。学...</p>
                </a> </li>
                          </ul>
            <ul style="display: none;">


同样需要爬取到html代码中的新闻标题，图片超链接，由于图片的超链接跟标题跟文章内容的url不在一个标签下，所以在Elements节点需要向上抽取一层，在内层分别做不同的处理

java代码如下

private static void getContent() {
		// TODO Auto-generated method stub
		
		
		
		Document doc;
		
		try {
			doc=Jsoup.connect("http://www.qfnu.edu.cn/").get();
			
			Elements listClass = doc.getElementsByAttributeValue("class", "news-1-lists");
			
			for(Element listElement : listClass){
				
				Elements listName = listElement.getElementsByTag("li");
				
				for(Element element : listName){
					
					//img标签下的数据
					String title =element.getElementsByTag("img").attr("title");					
					String url =element.getElementsByTag("img").attr("src");
					
					//文章链接在a标签下，需要单独处理
					String content = element.getElementsByTag("a").attr("href");
					System.out.println(title+"http://www.qfnu.edu.cn"+url+"文章地址"+content);
				}
				
			}
//			System.out.println(listClass);
		} catch (IOException e) {
			// TODO Auto-generated catch block
			e.printStackTrace();
		}
		
	}


爬取的结果如下

我校在山东高校思政课讲课大赛中斩获佳绩http://www.qfnu.edu.cn/attach/2016/09/02/123921.jpg文章地址/html/xxyw/2016/09/02/4648a396-c778-4116-ae79-6e61039ad9a3.html
日照市常务副市长王斌一行来我校调研http://www.qfnu.edu.cn/attach/2016/09/02/123920.jpg文章地址/html/xxyw/2016/09/02/d6f4656a-7349-4632-8634-27d30daaf3ad.html
我校与济宁高新区签署共建大学生创业孵化基地协议http://www.qfnu.edu.cn/attach/2016/09/01/123836.jpg文章地址/html/xxyw/2016/09/01/b457fe77-7bdc-4430-a7a2-d58e4c1101bf.html
学校对科研实验室安全检查工作做出部署http://www.qfnu.edu.cn/attach/2016/08/31/123710.jpg文章地址/html/xxyw/2016/08/31/a0ead4f5-79fe-4e7c-bdf7-4fef9336de30.html
学校领导深入各单位检查新学期开学工作http://www.qfnu.edu.cn/attach/2016/08/30/123658.jpg文章地址/html/xxyw/2016/08/30/d77063c3-8c70-4386-be04-4cb806856332.html
我校在全国高等院校健身气功赛中获佳绩http://www.qfnu.edu.cn/attach/2016/08/30/123654.jpg文章地址/html/xxyw/2016/08/30/056dfcb5-ca75-495e-a103-fe426f0a9ff4.html
校长戚万学会见新西兰客人http://www.qfnu.edu.cn/attach/2016/08/30/123653.jpg文章地址/html/xxyw/2016/08/30/aa9a0b89-2487-4a8b-ae18-bae1b54facae.html
我校学生在全国大学生物理教学技能展示中获骄人成绩http://www.qfnu.edu.cn/attach/2016/08/29/123609.jpg文章地址/html/xxyw/2016/08/29/4698415f-0656-42de-a2d5-3e339f721840.html
2016年算子代数研讨会召开http://www.qfnu.edu.cn/attach/2016/08/29/123606.jpg文章地址/html/xxyw/2016/08/29/e378f047-0a90-4a4b-87f1-0154adfdbf62.html
我校2016年暑期干部学习班成功举行http://www.qfnu.edu.cn/attach/2016/08/28/123425.jpg文章地址/html/xxyw/2016/08/28/95986304-7e98-4f5c-942b-30d551f5d4b2.html


谢栋_
关注
专栏目录
java jsoup爬取动态网页_java网络爬虫-利用phantomjs和jsoup爬取动态ajax加载页面
weixin_42347629的博客
02-25 1091
java基于windows爬取ajax加载的动态页面需要一定的辅助工具支持，本文爬取ajax加载的动态页面所使用的工具是phantomJS(关于phantomJS的介绍百度一大堆)下载之后解压文件，为了后面方便使用建议单独放在一个文件夹里面，例如我这边是放在F盘下面单独的文件夹phantomjs,然后进入phantomjs--bin点击运行phantomjs.exe，出现一下界面： 即表示可以正常...
java使用jsoup爬取数据并解析
chuzao6156的博客
07-05 947
首先这边文章只为记录简单的jsoup 和 dom4j的基本使用，并且爬虫是爬自己公司的数据也有一定局限性。参考性很有限，只给自己做个记录。 因为公司每月会统计加班到晚上8点之后的考勤次数，根据这个会象征性的发一些补助。然而每次都得盯着，搞的烦不剩烦（也可能是我懒），就想着直接爬整个部门...
Python爬虫（3） --爬取网页文本
最新发布
m0_74896766的博客
07-21 3087
指定url：找到网页地址发送请求：requests请求获取你想要的数据：文本接收，请求到的内容数据解析：xpath语言：定位到目标位置re正则匹配：精准取出目标内容，去除杂质。
Jsoup爬取网页内容
rumengqiang的博客
03-05 379
public static void main(String [] args) throws Exception{ //获取连接内容 Document document=Jsoup.connect("http://www.biquge5200.com/14_14620/").userAgent("Mozilla/5.0 (Windows NT 6.1; WOW64; rv:23.0)"...
java Jsoup爬取静态网站
weixin_34056162的博客
04-13 340
1 public static void configUrl() throws IOException { 2 setAgent("10.1.111.14", "1080"); 3 System.setProperty("https.protocols", "TLSv1.2,TLSv1.1,SSLv3"); 4 Documen...
jsoup实现爬取一个完整的网站，并保存到本地
03-06
用jsoup实现爬取一个完整的网站，包含网站里的所有链接内容，会另存为html到本地，js和css文件也会保存到本地，可以直接在本地打开查看一个完整的网站。 eclipse项目，可以直接导入修改。 提供一个链接和保存爬取后的网页保存位置即可。
SpringBoot中使用Jsoup爬取网站数据的方法
10-15
在SpringBoot项目中，利用Jsoup库进行网页数据抓取是一项常见的任务，Jsoup是一个用于处理实际世界HTML的Java库。它提供了非常方便的API，用于提取和操作数据，使用CSS选择器，就像jQuery一样。以下将详细介绍如何在...
Jsoup爬取网站图片
执笔诉情思的博客
05-16 920
Jsoup 是一款 Java 的 HTML 解析器，我们可以用它进行网站图片的爬取，然后下载到本地文件夹中。 首先在pom.xml中添加依赖。 <dependency> <groupId>org.jsoup</groupId> <artifactId>jsoup</artifactId> <version>1.10.2</version> </dependency> 首先我们写出下载图片
JAVA抓取网站数据-----JSOUP
a277541032的博客
06-06 1375
因为业务需求，需要再某个指定的网址抓取某些指定的数据，在网上搜了一些资料，发现两种基本的方法，一种是直接通过URL来逐行获取，（不建议），另外一种，通过JSOUP来获取，其他方式应该还有很多，鉴于时间关系，没有深入挖掘。但发现JSOUP以及可以满足该需求，这里只是简单的介绍JSOUP的简单用法。 如果是通过URL来获取 如下代码， 获取URL之后逐行进行解析，不太可取。 URL url = n
使用JSoup实现新闻网页正文抽取
10-20
本程序用用解析工具JSoup，编程实现了新闻网页正文信息抽取，适用于新浪163qq等新闻网页信息抽取。开发工具为Eclipse，将工程导入到Eclipse后，直接运行NewsDown.java类。
jsoup抓取某网站关键字查询列表的所有文章，并生成文档
12-04
前两天因为一个业务需求，需要从某网站爬取某个关键字搜索结果的所有文章，于是加班做了一个基于jsoup的爬虫程序，可以将特定关键字的搜索结果里所有的文章爬取到，并以文件的形式保存到本地，支持分页爬取。完整项目代码，有需要的可以下载，共同研究。
Android项目源码简单利用jsoup爬取学校内网数据
07-29
本项目是一个基于安卓的简单利用jsoup爬取学校内网数据的教务系统app,设计的部分有：个人信息、课程表、考试时间、考勤信息、成绩查询、奖惩情况、开设课程、晚归违规等部分。主要思路就是利用jsoup爬数据把数据转化json。为了保护隐私作者已经把服务端的url去掉了。所以目前不能登录了，不过还可以通过代码研究别人的实现方式和布局。javaapk之前也介绍过5个类似的教务项目，在搜素“教务”就可以找到。注意：本项目是android studio项目，eclipse可能无法直接导入。
JSOUP 打开url的方式
07-06 186
一般采用这种方式： try{ doc = Jsoup.connect(url) .header("User-Agent", "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:49.0) Gecko/20100101 Firefox/49.0") ...
Jsoup实现新闻网页的爬取，标题，正文，图片，新闻时间，网页链接的解析示例
浪子木青的博客
06-04 3235
以下代码为一个Jsoup爬取新闻网页的简单示例，可直接运行。import java.io.File; import java.io.FileOutputStream; import java.io.IOException; import java.io.InputStream; import java.net.MalformedURLException; import java.net.URL; i
使用 Jsoup 爬虫解析 html 新闻的实例
xuanjiewu的专栏
06-08 1316
本文 转自：http://blog.csdn.net/junbin_fan/article/details/24814407 一、目标主页 实例中进行解析的的目标主页是宁夏大学新闻网，在主方法中可以看到有三条新闻详情和三个新闻列表共6条URL，可以通过在主方法中切换不的url来对目标主页的内容进行解析。 二、JSoup的相关API可以参看官方的支持文档。
利用jsoup打开网页获取一个document
u011715213的专栏
10-20 1208
/** * 打开网页并且获取html *  * @param url * @return */ public static Document getHtmlDoc(String url) { if (url == null || url.isEmpty()) return null; try { return Jsoup.connect(url).timeout(5000).d
爬虫jsoup怎么抓取网页信息
DoDo222333的博客
09-21 430
jsoup简单操作
java爬虫爬取网页内容
05-01
Java 爬虫可以利用 Jsoup 库来获取网页内容。以下是一个简单的示例代码，可以爬取指定网址的页面内容并输出到控制台上： ``` import org.jsoup.Jsoup; import org.jsoup.nodes.Document; public class WebCrawler ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值