Jsoup根据URL加载一个Document

最新推荐文章于 2022-03-16 14:32:13 发布
最新推荐文章于 2022-03-16 14:32:13 发布
阅读量323 收藏
点赞数
分类专栏： Jsoup
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45743799/article/details/104076424
版权
本文介绍如何利用Jsoup的connect方法通过URL加载网页内容并转换为Document对象。当从URL获取HTML时，可能会遇到IOException，需进行异常处理。此外，还提到了Jsoup对Web URLs的支持以及对文件加载的替代方法。
摘要由CSDN通过智能技术生成
有时候我们可能希望通过一个url地址，然后提取里面的内容，转换成document对象。

用 Jsoup.connect(String url)方法:

Document doc = Jsoup.connect("http://baidu.com/").get();
String title = doc.title();

解说
connect(String url) 方法创建一个新的 Connection, 和 get() 取得和解析一个HTML文件。如果从该URL获取HTML时发生错误，便会抛出 IOException，应适当处理。
Connection 接口还提供一个方法链来解决特殊请求，具体如下：


                

                
                
        

        

    

  


        

            

                    
                      最低0.47元/天 解锁文章
                        
                    
            

        

    

      

        

            

              
                
                  风叶翩翩
                
              
            

            

                关注
              
            

        

        

          
      

      

            

                专栏目录
          









                



	

		

			

				
					
Java使用jsoup爬取网页数据

				
			

			

				

					wohaipagui的博客
				

				

					05-12
					
					2065
					
				

			

		

		

			
				
前置说明
虽然可以爬取数据，但是不能获取网页的视频（tika包可以）、音乐、Ajax数据，只能获取页面渲染出的元素和数据。必须联网。
1、引入maven包
<dependency>
  <groupId>org.jsoup</groupId>
  <artifactId>jsoup</artifactId>
  <version>1.14.3</version>
</dependency>

2、链接网页及抓取代

			
		

	



                

              
                



	

		

			

				
					
【使用JSOUP实现网络爬虫】从一个URL加载一个Document

					
热门推荐

				
			

			

				

					Cross
				

				

					10-30
					
					1万+
					
				

			

		

		

			
				
存在问题你需要从一个网站获取和解析一个HTML文档，并查找其中的相关数据。你可以使用下面解决方法：解决方法使用 Jsoup.connect(String url)方法:Document doc = Jsoup.connect("http://example.com/").get();
String title = doc.title();
 说明 connect(String url) 方法创建一

			
		

	



                


  
              

                


	

		

			

				
					
Jsoup文档--使用URL加载Document

				
			

			

				

					虚拟的博客
				

				

					09-29
					
					505
					
				

			

		

		

			
				
使用URL加载Document
问题
需要从网络中获取并解析HTML文档，并在其中查找数据(屏幕抓取)。
解决方案
使用Jsoup.connect(String url)方法：
Document doc = Jsoup.connect("http://example.com/").get();
String title = doc.title();

描述
connect(String url)方...

			
		

	





	

		

			

				
					
S获取上一访问页面URL地址document.referrer实践

				
			

			

				

					weixin_33881041的博客
				

				

					11-23
					
					579
					
				

			

		

		

			
				
这篇文章发布于 2017年02月13日，星期一，22:55，归类于 JS实例。 阅读 54267 次, 今日 51 次 46 条评论
by zhangxinxu from www.zhangxinxu.com/wordpress/?…
本文可全文转载，但需得到原作者书面许可，同时保留原作者和出处，摘要引流则随意。
一、JS获取前一个访问页面的URL地址document.referrer
要获取前一...

			
		

	



		

			
		



	

		

			

				
					
Jsoup Document的获取

				
			

			

				

					星辰火之梦
				

				

					01-28
					
					899
					
				

			

		

		

			
				
从字符串获取
String html = "<html><head><title>Java爬虫</title></head>"
				+ "<body>内容部分</body></html>";
Document doc = Jsoup.parse(html);

从网址简单获取
Document do...

			
		

	





	

		

			

				
					
java jsoup爬取动态网页_java网络爬虫-利用phantomjs和jsoup爬取动态ajax加载页面

				
			

			

				

					weixin_42347629的博客
				

				

					02-25
					
					1088
					
				

			

		

		

			
				
java基于windows爬取ajax加载的动态页面需要一定的辅助工具支持，本文爬取ajax加载的动态页面所使用的工具是phantomJS(关于phantomJS的介绍百度一大堆)下载之后解压文件，为了后面方便使用建议单独放在一个文件夹里面，例如我这边是放在F盘下面单独的文件夹phantomjs,然后进入phantomjs--bin点击运行phantomjs.exe，出现一下界面： 即表示可以正常...

			
		

	





	

		

			

				
					
jsoup解析和遍历一个html文档详解

				
			

			

				

					weixin_45743799的博客
				

				

					01-22
					
					688
					
				

			

		

		

			
				
解析和遍历一个HTML文档
如何解析一个HTML文档：
String html = "<html><head><title>First parse</title></head>"
+ "<body><p>Parsed HTML into a doc.</p></body></html&...

			
		

	





	

		

			

				
					
一个用jsoup框架解析html的项目

				
			

			

				

					10-27
				

			

		

		

			
				
总之，JSoup是一个强大的工具，对于任何需要处理HTML的Java项目来说，它都是一个优秀的选择。结合多线程技术，可以高效地处理大量网页数据，无论是抓取、分析还是清洗，都能胜任。通过熟练掌握JSoup，开发者可以更...

			
		

	





	

		

			

				
					
URL地址转PDF文件

				
			

			

				

					qq_51800990的博客
				

				

					03-16
					
					587
					
				

			

		

		

			
				
url地址转成pdf

			
		

	





	

		

			

				
					
java HttpURLConnection抓取网页内容，将DOM文档转化成XM

				
			

			

				

					水雨田
				

				

					07-23
					
					484
					
				

			

		

		

			
				



在工作中要通java获取整个网页的html内容，或者某个网络文件的内容。这里我们可以使用java提供的HttpURLConnection类来实现对网页内容的抓取。
抓取爱图网www.iitu.net首页的内容，　在代码中我们将百度首页的内容存储到了一个byte数组中，当然我们有了 IO流以后还可以存储到文件中去了。
 



URL url = new URL("http://...

			
		

	





	

		

			

				
					
Jsoup文件解析入门

				
			

			

				

					u013317172的博客
				

				

					09-18
					
					569
					
				

			

		

		

			
				
XML文件解析器–Jsoup入门
概念：jsoup 是一款Java 的HTML解析器，可直接解析某个URL地址、HTML文本内容。
      它提供了一套非常省力的API，可通过DOM，CSS以及类似于jQuery的操作方法来取出和操作数据。


快速入门步骤：
				1. 导入jar包
				2. 获取Document对象
				3. 获取对应的标签Element对象
				4. 获取...

			
		

	





	

		

			

				
					
访问URL时传入另一个URL作为参数

				
			

			

				

					beny
				

				

					11-16
					
					6777
					
				

			

		

		

			
				
访问地址：
http://192.168.1.1/login.html?a=1&b=2&url=/device.html?c=3&d=4
这种情况下，d=4 这个参数会被当做是访问 login.html 时的参数，而不是 device.html 的参数。
解决办法：
对url 参数内容进行加码，如下：
http://192.168.1.1/login.html?a=1&b=2&url=e

			
		

	





	

		

			

				
					
url的转换与重定向

				
			

			

				

					Yaaazi的博客
				

				

					09-19
					
					2910
					
				

			

		

		

			
				
长url转换成短url进行重定向·思路·详细方法步骤·实现方法·注意·具体效果·代码·心得
·思路

1，获取url并做好传值，如何沟通前后端 =&gt; javascript;安全相关 xss SQL注入 etc。
2，使用 PHP 设置一个发号器 对于任意给我的一个url ，将其转换为loacalhost/xxxx；
3，将localhost/xxxx与www.xxxxx.com 建立映射表（...

			
		

	





	

		

			

				
					
XML基础知识——获取Document对象（一）

				
			

			

				

					追梦人的博客
				

				

					01-11
					
					4225
					
				

			

		

		

			
				
一、获取Document方法。
（1）、使用到的jar包：dom4j-1.6.1.jar      log4j-1.2.17.jar
（2）、通过XML文件内容获取Document对象。
	/**
	 * 根据XML文件内容，获取XML文档的Document对象 
	 * @param xmlName 已经存在的XML文件名
	 * @return 返回Document对象
	 */
	pu

			
		

	





	

		

			

				
					
获取网页内容---Document

				
			

			

				

					cqb18257344546的博客
				

				

					12-03
					
					3191
					
				

			

		

		

			
				
声明：文章内容全都是自己的学习总结，如有不对的地方请大家帮忙指出。有需要沟通交流的可加我QQ群：425120333
    前面两篇的内容主要是为了这里更好的获取页面而做的准备，当然没有前两篇内容也是可以的，不过要将相应的调用语句注释了。
import java.io.ByteArrayOutputStream;
import java.io.IOException;
import java.io.

			
		

	





	

		

			

				
					
如何将字符串转化为Jsoup的Document 对象

				
			

			

				

					weixin_34162228的博客
				

				

					10-29
					
					2129
					
				

			

		

		

			
				
有些时候在java操作解析html元素的时候比较繁琐，今天螃蟹就介绍一种可将html转换为document对象的方法——jsoup 

jsoup为我们解析html提供了比较全的API接口，我们通过将html转换为document对象后，在java中便可以形同写html标签一般进行元素的解析、属性的获取。
首先看一个例子：

String html="&lt;html&gt;&lt;header&...

			
		

	





	

		

			

				
					
java jsoup xml_将字符串转换为org.jsoup.nodes.Document,即实现jsoup解析xml

				
			

			

				

					weixin_34194964的博客
				

				

					02-24
					
					687
					
				

			

		

		

			
				
1.Documentdoc =Jsoup.parse(pnrdatacontent,"",new Parser(newXmlTreeBuilder()));在做一般的XML数据交换过程中，我更乐意传递XML字符串，而不是格式化的XMLDocument。这就涉及到XML字符串和XmlDocument的转换问题，说白了这是个很简单的问题，本文就各种XML解析器分别列举如下，以方便自己今后查阅。一、使...

			
		

	





	

		

			

				
					

				
			

			

				

					
				

			

		

		

			
				

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值