jsoup的一些好用的方法

最新推荐文章于 2022-08-17 09:25:15 发布

IT码农工

最新推荐文章于 2022-08-17 09:25:15 发布

阅读量733

点赞数

文章标签：网络爬虫

本文链接：https://blog.csdn.net/weijinbo5741/article/details/22059023

版权

1 。 empty的方法清空某个元素的文本内容，与jquery的empty的方法有很多的相同点

2。 hasText的方法判断某个元素中是否有文本内容。

3。 jsoup选择器与jquery的选择器几乎一样的。

1 div >div 表示div元素下的后代的所有div元素。

2 div ~ div 表示div元素的所有同级节点或者说是所有的兄弟节点。

3 div#text 表示选择id属性为text的div元素

4 div.text 表示选择class属性为text的div元素

5 img[src^=weijinbo] 表示选择以src为weijinbo开头的所有的img元素。

6 获取一个documet的文档一般以下几个方法

Document doc = Jsoup.connect(whois).timeout(5000).get();

Document doc =Jsoup.parser(html);

7.得到某个站点的静态页面里面的内容

public static String SimpleConnection(String URL,String coding){
		 String value="";
		 DefaultHttpClient httpclient =new DefaultHttpClient();
	     try {
	         HttpGet HttpGet = new HttpGet(URL);
		      HttpGet.addHeader("User-Agent", "Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9.1) Gecko/20090624 Firefox/3.5 GTB5");  
		      HttpGet.addHeader("Accept-Language", "zh-cn,zh;q=0.5");  
		      HttpGet.addHeader("Accept-Charset", "GB2312,utf-8;q=0.7,*;q=0.7");  
		      HttpGet.addHeader("Accept", "*/*"); 
		      HttpGet.addHeader("connection",  "Keep-Alive");
	         RequestConfig defaultRequestConfig = RequestConfig.custom()
	        .setSocketTimeout(10000)
            .setConnectTimeout(10000)
            .setConnectionRequestTimeout(10000)
            .build();
	         HttpGet.setConfig(defaultRequestConfig);
	         CloseableHttpResponse response = httpclient.execute(HttpGet);
	         httpclient.setHttpRequestRetryHandler(requestRetryHandler);
	         try {
	        	 if(response.getStatusLine().getStatusCode()==200){
	             HttpEntity resEntity = response.getEntity();
	             Header header = response.getFirstHeader("Content-Type");
	             //coding= getRealCode(header,coding);
	             if (resEntity.getContentEncoding() != null && "gzip".equals(resEntity.getContentEncoding().getValue()))
		             resEntity= new GzipDecompressingEntity(resEntity);
	             if (resEntity != null) {
	            	 value=EntityUtils.toString(resEntity, coding);
	            	 if(value==null||"".equals(value)||"null".equals(value)){
	    	    		 System.out.println("-------进入HttpConnectionManager--------");
	            		 HttpConnectionManager httpConnectionManager = new HttpConnectionManager();
	            		 value=httpConnectionManager.getHtml(URL,coding);
	            	 }
	             }
	            	 
	        	}
	         } finally {
	             response.close();
	         }
	     }catch(IOException e){
	    	 String error = "SimpleHttpClient.SimpleConnection():"+URL+"  >>  "+e.getMessage();
	    	 System.out.println(error);
	     } finally {
	    	
	         httpclient.close();
	     }
		return value;
	}