Java程序中使用 Jsoup 爬虫( 简单示例 )

以抓取CSDN主页的右侧导航栏为例

转存失败重新上传取消

代码示例：

1 package com.oukele.csdn_demo;

2

3 import org.jsoup.Jsoup;

4 import org.jsoup.nodes.Document;

5 import org.jsoup.nodes.Element;

6 import org.jsoup.select.Elements;

7

8 import java.io.IOException;

9

10 public class CsdnCrawlDemo {

11

12 public static void main(String[] args) {

13 //目标地址

14 String url = “https://www.csdn.net/”;

15 try {

16 Document document = Jsoup

17 .connect(url)

18 .header(“user-agent”,“Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.80 Safari/537.36”)

19 .get();

20 // 右侧导航栏

21 Elements nav_com = document.getElementsByClass(“nav_com”);

22 Elements elements = nav_com.select(“ul>li”);

23 for (Element element : elements) {

24 System.out.println(“导航标题：”+element.text()+“\t标题访问地址：”+element.select(“a”).attr(“href”)+“\r\n”);

25 //这里 我们可以 根据 得到的访问链接 再进行 爬取…

26 }

27 } catch (IOException e) {

28 System.out.println(“出现错误:”+e.getMessage());

29 }

30

31

32 }

33

34 }

运行结果：

1 导航标题：推荐 标题对应的链接：/

2

3 导航标题：最新文章 标题对应的链接：/nav/newarticles

4

5 导航标题：关注 标题对应的链接：/nav/watchers

6

7 导航标题：资讯 标题对应的链接：/nav/news

8

9 导航标题：人工智能 标题对应的链接：/nav/ai

10

11 导航标题：云计算/大数据 标题对应的链接：/nav/cloud

12

13 导航标题：区块链 标题对应的链接：https://blockchain.csdn.net

14
自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数Python工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年Python开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上前端开发知识点，真正体系化！

由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新

如果你觉得这些内容对你有帮助，可以扫码获取！！！（备注Python）

小伙伴深入学习提升的进阶课程，基本涵盖了95%以上前端开发知识点，真正体系化！**

由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新

如果你觉得这些内容对你有帮助，可以扫码获取！！！（备注Python）