java jsoup怎么设置请求头_Java使用Jsoup请求网页内容，网页中的页码部分请求不到...

# 使用的编程语言的工具

使用Java的一个解析网页库Jsoup获取网页中的html代码

```Java

Jsoup.connect("http://xxx.cn").get();

```

# 出现问题过程

首先有一个网页有一部分是这样

然后打开网页开发工具，可以看到这部分的代码

---华丽的分割线=----------------------------------------------------------

下面我需要使用程序获取这部分代码

主要代码如下，👇

```Java

//现在need_search是所有需要搜索关键字的链接了

for(String url : need_search){

Document doc = Jsoup.connect(url).get();

//先判断总体情况

Elements number_by_class = doc.getElementsByClass("num_nav");

System.out.println(number_by_class);

//Elements by_class = doc.getElementsByClass("normal_list2");

}

```

运行后输出这部分网页内容

是不是有一部分没有得到？

页码部分没有，(是想实现自动翻页爬取网页内容的功能，但是这部分卡住了)

# 我的猜想

可能是网页异步加载，这部分页码是通过脚本生成的，获取网页的时候没有加载完成，所以获取不到

# 请求帮助

请问如何获取这部分内容，我试过Java  URLConnection获取，结果还是一样

正在使用httpClient获取，但是挺麻烦的，不知道还有没有其它办法？请指教，感激不急！

# 后续

先前在CSDN提问，但是还需要C币才能问，实在是没有。。。CSDN变了。。。好恶心mmp，希望有更多的提问社区