htmlcleaner+xpath抓取网页数据

最新推荐文章于 2020-07-22 21:23:17 发布
最新推荐文章于 2020-07-22 21:23:17 发布
阅读量5.3k 收藏 1
点赞数
分类专栏： seo html 文章标签： search object class c file
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_qun_247286682/article/details/7074246
版权
本文介绍了如何利用HtmlCleaner库配合XPath表达式来定位并提取网页中的数据。通过下载HtmlCleaner的jar包，并编写代码，可以有效地获取所需信息。实践过程简单明了，适用于网页数据抓取任务。
摘要由CSDN通过智能技术生成

下载htmlcleaner的jar包！用XPath定位元素位置！

运行以下代码！

 

import java.io.IOException;
import java.net.MalformedURLException;
import java.net.URL;

import org.htmlcleaner.HtmlCleaner;
import org.htmlcleaner.TagNode;
import org.htmlcleaner.XPatherException;

public class HtmlCleanerDemo {
	
	public void test2() throws MalformedURLException, IOException, XPatherException{
		
		HtmlCleaner cleaner=new HtmlCleaner();
		
		TagNode node=cleaner.clean(new URL("http://shop.ali213.com/products_all_big.php"));
		
		Object[] ns=node.evaluateXPath("//div[@class='all_products_list']//*//a[@href]");
		
		for (Object object : ns) {
			
			TagNode node2=(TagNode) object;
			System.out.println("超链接地址："+node2.getAttributeByName("href")+"链接标题："+node2.getAttributeByName("title"));
			
		}
		
//		//
//Object[] ns2=node.evaluateXPath("//div[@class='all_products_list']//*//font[@style='font-family:Arial, Helvetica, sans-serif;font-size:14px;color:#FF2900;font-weight:bold;']");
//		
//		for (Object object : ns2) {
//			
//			TagNode node2=(TagNode) object;
//			System.out.println("价格："+node2.getText());
//			
//		}
		
	}
	
	public static void main(String[] args) throws IOException, XPatherException {
		
		//GenXml.createXml(new URL("http://osa.tmall.com/"));
		
		HtmlCleaner cleaner=new HtmlCleaner();
		
		int imgs=0;
		int as=0;
		
		// 按tag取
		 //TagNode node=cleaner.clean(new File("F://lianxi//HtmlCleaner1//src//test//html//1.html"),"utf-8");
///	TagNode node=cleaner.clean(new File("basic.xml"),"utf-8");
	 	TagNode node=cleaner.clean(new URL("http://osa.tmall.com/"),"gbk");
		Object[] ns=node.getElementsByName("title", true);
		
		if(ns.length>0){
			
			System.out.println("title是："+((TagNode) ns[0]).getText());//取title值
		}
		
		// 按xpath取
		System.out.println("图片路径：img/src:" );
		//ns=node.evaluateXPath("//div[@class='custom-area']//*//img[@src]");
		ns=node.evaluateXPath("//div[@class='box J_TBox tshop-pbsm tshop-pbsm-ssd10c']//*//img[@src]");
		
		
		for (Object on: ns) {
			TagNode n= (TagNode) on;
//			System.out.println("\ttext:"+n.getText());
			System.out.println("图片路径:"+n.getAttributeByName("src")+"\n");
			imgs++;
		}
		System.out.println("共"+imgs+"个");
		System.out.println("--------------------------------");
		System.out.println("获取超链接的地址：a");
		ns=node.evaluateXPath("//div[@class='box J_TBox tshop-pbsm tshop-pbsm-ssd10c']//*//a[@href]");
		for (Object object : ns) {
			TagNode node2=(TagNode) object;
			System.out.println("超链接的链接地址:"+node2.getAttributeByName("href")+"\n");
			as++;
			//System.out.println(cleaner.getInnerHtml(node2));
		}
		
		System.out.println("超链接共："+as+"个");
		
//		// 按屬性取
//		System.out.println("a:");
//		ns=node.getElementsByAttValue("href", "", true, true);
//		for (Object on : ns) {
//			TagNode node2=(TagNode) on;
//			System.out.println("\thref="+node2.getAttributeByName("href")+",text="+node2.getText());
//					
//		}
		
		
		
		HtmlCleanerDemo demo= new HtmlCleanerDemo();
		
		demo.test2();
	}

}


结果！


title是：
       O.SA 首页-osa品牌服饰旗舰店- 淘宝商城    
图片路径：img/src:
图片路径:http://img03.taobaocdn.com/imgextra/i3/94153930/T2nLedXlhXXXXXXXXX_%21%2194153930.jpg

图片路径:http://img01.taobaocdn.com/imgextra/i1/94153930/T2sLadXmxXXXXXXXXX_%21%2194153930.jpg

图片路径:http://img04.taobaocdn.com/imgextra/i4/94153930/T2yvadXmpXXXXXXXXX_%21%2194153930.jpg

图片路径:http://img02.taobaocdn.com/imgextra/i2/94153930/T2819dXm8XXXXXXXXX_%21%2194153930.jpg

图片路径:http://img01.taobaocdn.com/imgextra/i1/94153930/T2.19dXm4XXXXXXXXX_%21%2194153930.jpg

图片路径:http://img01.taobaocdn.com/imgextra/i1/94153930/T2nfydXhRaXXXXXXXX_%21%2194153930.jpg

图片路径:http://img02.taobaocdn.com/imgextra/i2/94153930/T2GvydXhpaXXXXXXXX_%21%2194153930.jpg

图片路径:http://img02.taobaocdn.com/imgextra/i2/94153930/T2LLydXhdaXXXXXXXX_%21%2194153930.jpg

图片路径:http://img02.taobaocdn.com/imgextra/i2/94153930/T2Y2ydXg0aXXXXXXXX_%21%2194153930.jpg

图片路径:http://img04.taobaocdn.com/imgextra/i4/94153930/T2HLudXiNaXXXXXXXX_%21%2194153930.jpg

图片路径:http://img04.taobaocdn.com/imgextra/i4/94153930/T2vvudXi8aXXXXXXXX_%21%2194153930.jpg

图片路径:http://img04.taobaocdn.com/imgextra/i4/94153930/T2O2udXiFaXXXXXXXX_%21%2194153930.jpg

图片路径:http://img01.taobaocdn.com/imgextra/i1/94153930/T21fudXitaXXXXXXXX_%21%2194153930.jpg

图片路径:http://img01.taobaocdn.com/imgextra/i1/94153930/T242udXilaXXXXXXXX_%21%2194153930.jpg

图片路径:http://img01.taobaocdn.com/imgextra/i1/94153930/T2hLydXh0aXXXXXXXX_%21%2194153930.jpg

图片路径:http://img01.taobaocdn.com/imgextra/i1/94153930/T232adXlNXXXXXXXXX_%21%2194153930.jpg

图片路径:http://img02.taobaocdn.com/imgextra/i2/94153930/T2QA9eXbpaXXXXXXXX_!!94153930.jpg

图片路径:http://img02.taobaocdn.com/imgextra/i2/94153930/T2I9SdXapXXXXXXXXX_!!94153930.jpg

图片路径:http://img01.taobaocdn.com/imgextra/i1/94153930/T2zpV5XatXXXXXXXXX_%21%2194153930.jpg

图片路径:http://img03.taobaocdn.com/imgextra/i3/94153930/T2jdmeXepaXXXXXXXX_!!94153930.jpg

图片路径:http://img01.taobaocdn.com/imgextra/i1/94153930/T2nJmeXelaXXXXXXXX_!!94153930.jpg

图片路径:http://img01.taobaocdn.com/imgextra/i1/94153930/T2r0meXedaXXXXXXXX_!!94153930.jpg

图片路径:http://img02.taobaocdn.com/imgextra/i2/94153930/T2oDecXftaXXXXXXXX_!!94153930.jpg

图片路径:http://img04.taobaocdn.com/imgextra/i4/94153930/T2ehGeXbRXXXXXXXXX_!!94153930.jpg

图片路径:http://img02.taobaocdn.com/imgextra/i2/94153930/T2iNGeXbJXXXXXXXXX_!!94153930.jpg

图片路径:http://img04.taobaocdn.com/imgextra/i4/94153930/T2u4GeXbpXXXXXXXXX_!!94153930.jpg

图片路径:http://img04.taobaocdn.com/imgextra/i4/94153930/T2xxGeXbhXXXXXXXXX_!!94153930.jpg

图片路径:http://img01.taobaocdn.com/imgextra/i1/94153930/T2L4GeXa0XXXXXXXXX_!!94153930.jpg

图片路径:http://img03.taobaocdn.com/imgextra/i3/94153930/T2PWOcXfpXXXXXXXXX_!!94153930.jpg

图片路径:http://img04.taobaocdn.com/imgextra/i4/94153930/T2PaOcXfpXXXXXXXXX_!!94153930.jpg

图片路径:http://img04.taobaocdn.com/imgextra/i4/94153930/T221ieXoXaXXXXXXXX_!!94153930.jpg

图片路径:http://img04.taobaocdn.com/imgextra/i4/94153930/T22uieXoXaXXXXXXXX_!!94153930.jpg

图片路径:http://img04.taobaocdn.com/imgextra/i4/94153930/T2YlmeXf8XXXXXXXXX_!!94153930.jpg

图片路径:http://img03.taobaocdn.com/imgextra/i3/94153930/T2femeXnRaXXXXXXXX_!!94153930.jpg

图片路径:http://img03.taobaocdn.com/imgextra/i3/94153930/T2v1meXnxaXXXXXXXX_!!94153930.jpg

图片路径:http://img02.taobaocdn.com/imgextra/i2/94153930/T2yumeXnpaXXXXXXXX_!!94153930.jpg

图片路径:http://img03.taobaocdn.com/imgextra/i3/94153930/T2E1meXnhaXXXXXXXX_!!94153930.jpg

图片路径:http://img03.taobaocdn.com/imgextra/i3/94153930/T2RKmeXm4aXXXXXXXX_!!94153930.jpg

图片路径:http://img01.taobaocdn.com/imgextra/i1/94153930/T2VumeXmVaXXXXXXXX_!!94153930.jpg

图片路径:http://img03.taobaocdn.com/imgextra/i3/94153930/T2_emeXmxaXXXXXXXX_!!94153930.jpg

图片路径:http://img03.taobaocdn.com/imgextra/i3/94153930/T2buqeXmpaXXXXXXXX_!!94153930.jpg

图片路径:http://img02.taobaocdn.com/imgextra/i2/94153930/T27KOeXlhaXXXXXXXX_!!94153930.jpg

图片路径:http://img04.taobaocdn.com/imgextra/i4/94153930/T2oKqeXl8aXXXXXXXX_!!94153930.jpg

图片路径:http://img01.taobaocdn.com/imgextra/i1/94153930/T2weqeXl0aXXXXXXXX_!!94153930.jpg

图片路径:http://img01.taobaocdn.com/imgextra/i1/94153930/T22gWeXa8XXXXXXXXX_!!94153930.jpg

图片路径:http://img02.taobaocdn.com/imgextra/i2/94153930/T2LlSdXe4aXXXXXXXX_!!94153930.jpg

图片路径:http://img01.taobaocdn.com/imgextra/i1/94153930/T2gJeeXiVaXXXXXXXX_!!94153930.jpg

图片路径:http://img04.taobaocdn.com/imgextra/i4/94153930/T2xyieXXhXXXXXXXXX_!!94153930.jpg

图片路径:http://img01.taobaocdn.com/imgextra/i1/94153930/T28cxZXapcXXXXXXXX_!!94153930.jpg

图片路径:http://img01.taobaocdn.com/imgextra/i1/94153930/T2LdWeXeRaXXXXXXXX_!!94153930.jpg

图片路径:http://img02.taobaocdn.com/imgextra/i2/94153930/T2Tr1bXXlbXXXXXXXX_!!94153930.jpg

图片路径:http://img03.taobaocdn.com/imgextra/i3/94153930/T2IH1bXXBbXXXXXXXX_!!94153930.jpg

图片路径:http://img01.taobaocdn.com/imgextra/i1/94153930/T2coibXe4aXXXXXXXX_!!94153930.jpg

图片路径:http://img03.taobaocdn.com/imgextra/i3/94153930/T2c.ibXe0aXXXXXXXX_!!94153930.jpg

图片路径:http://img03.taobaocdn.com/imgextra/i3/94153930/T2soibXeBaXXXXXXXX_!!94153930.jpg

图片路径:http://img04.taobaocdn.com/imgextra/i4/94153930/T26UibXdFaXXXXXXXX_!!94153930.jpg

图片路径:http://img04.taobaocdn.com/imgextra/i4/94153930/T27EibXdJaXXXXXXXX_!!94153930.jpg

图片路径:http://img01.taobaocdn.com/imgextra/i1/94153930/T2nUmbXdlaXXXXXXXX_!!94153930.jpg

图片路径:http://img02.taobaocdn.com/imgextra/i2/94153930/T2efieXidXXXXXXXXX_!!94153930.jpg

图片路径:http://img04.taobaocdn.com/imgextra/i4/94153930/T2SF4tXdtNXXXXXXXX_!!94153930.jpg

图片路径:http://img03.taobaocdn.com/imgextra/i3/94153930/T2z2ieXh4XXXXXXXXX_!!94153930.jpg

图片路径:http://img02.taobaocdn.com/imgextra/i2/94153930/T2i4SeXhNXXXXXXXXX_!!94153930.jpg

图片路径:http://img03.taobaocdn.com/imgextra/i3/94153930/T2dvieXhRXXXXXXXXX_!!94153930.jpg

图片路径:http://img03.taobaocdn.com/imgextra/i3/94153930/T2O2ieXhJXXXXXXXXX_!!94153930.jpg

图片路径:http://img02.taobaocdn.com/imgextra/i2/94153930/T2T2ieXhFXXXXXXXXX_!!94153930.jpg

图片路径:http://img01.taobaocdn.com/imgextra/i1/94153930/T24vieXhtXXXXXXXXX_!!94153930.jpg

图片路径:http://img01.taobaocdn.com/imgextra/i1/94153930/T28fieXhlXXXXXXXXX_!!94153930.jpg

图片路径:http://img01.taobaocdn.com/imgextra/i1/94153930/T2fvmeXhXXXXXXXXXX_!!94153930.jpg

图片路径:http://img04.taobaocdn.com/imgextra/i4/94153930/T2f2meXg8XXXXXXXXX_!!94153930.jpg

图片路径:http://img04.taobaocdn.com/imgextra/i4/94153930/T203aeXcdaXXXXXXXX_!!94153930.jpg

图片路径:http://img04.taobaocdn.com/imgextra/i4/94153930/T2f.KbXmVXXXXXXXXX_!!94153930.jpg

图片路径:http://img01.taobaocdn.com/imgextra/i1/94153930/T2I.GbXmVXXXXXXXXX_!!94153930.jpg

图片路径:http://img03.taobaocdn.com/imgextra/i3/94153930/T2lUCbXmlXXXXXXXXX_!!94153930.jpg

图片路径:http://img01.taobaocdn.com/imgextra/i1/94153930/T2H.KbXl8XXXXXXXXX_!!94153930.jpg

图片路径:http://img03.taobaocdn.com/imgextra/i3/94153930/T2OoKbXlVXXXXXXXXX_!!94153930.jpg

图片路径:http://img01.taobaocdn.com/imgextra/i1/94153930/T2ZUKbXlxXXXXXXXXX_!!94153930.jpg

图片路径:http://img03.taobaocdn.com/imgextra/i3/94153930/T21tOeXcJbXXXXXXXX_!!94153930.jpg

图片路径:http://img03.taobaocdn.com/imgextra/i3/94153930/T2m1eeXcJbXXXXXXXX_!!94153930.jpg

图片路径:http://img01.taobaocdn.com/imgextra/i1/94153930/T2EeeeXclbXXXXXXXX_!!94153930.jpg

图片路径:http://img03.taobaocdn.com/imgextra/i3/94153930/T2EueeXchbXXXXXXXX_!!94153930.jpg

图片路径:http://img04.taobaocdn.com/imgextra/i4/94153930/T2ZeeeXbNbXXXXXXXX_!!94153930.jpg

图片路径:http://img01.taobaocdn.com/imgextra/i1/94153930/T221eeXbRbXXXXXXXX_!!94153930.jpg

图片路径:http://img02.taoba
最低0.47元/天 解锁文章
匿名旅途
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
使用httpclient、htmlcleaner 、xpath 采集新浪微博3G站点数据
xiaomin1991222的专栏
11-20 139
0、背景 原来对新浪微博的采集主要靠对weibo.com这个入口进行，但是最近发现有人使用weibo.cn这个入口操作。应为weibo.cn对应的是 微博的3g版本，基本没有广告，页面小，这样下载数据量会小很多，并且3g版本的采集比较简单。于是就有了这个3g版本的采集程序。 写出来，分享给大家，希望对有需要的朋友有所帮助。   使用到的类库：httpclient、htmlcleaner...
hackableII靶机渗透记录
althumi的博客
12-18 1182
【代码】hackableII靶机渗透记录。
C#取五笔或拼音代码
jinning13的专栏
05-12 3万+
        private string GetWbPy(string inputstring, string pywb)        {             string  thisletter = inputstring.Trim();            int letterlen  = thisletter.Length;            string pystring 
拼音首字母示例
xuzuning的专栏
12-23 1万+
$initial = YSXSM SDQLYBJJJKCZBJFYY JHYHSYZGJ   SN      XY  NQ    LGGLLYJDS YSSGYZYD XJYYDLDWJJWBBFTBXTHHBCZCRFMQWYFCWDZPYDDWYXJAYPSFTZYJXXXCXNNXXZZBPYSYZHMZBQBZCYZBXQSBHHXGFMBHHGQCXSTHLYGYMXALELCCXZRJ
使用HtmlAgilityPack XPath 表达式抓取博客园数据的实现代码
10-28
使用HtmlAgilityPack XPath表达式来抓取博客园数据使用WebClient 下载数据，HtmlAgilityPack XPath表达式解析数据，并绑定到Repeater控件
PHP xpath提取网页数据内容代码解析
10-15
首先，本文介绍了PHP中使用xpath来提取网页数据内容的基本方法。xpath（XML Path Language）是一种在XML文档中查找信息的语言，同样适用于HTML文档，因为HTML可以被视为XML的一个实例。在PHP中，要使用xpath，主要...
火狐老版本+xpath插件(适合python+xpath爬虫使用)
06-19
在这个压缩包中，我们找到了火狐的老版本浏览器和一个专门针对XPath的插件，这对于Python开发者来说，是一个极好的工具集，可以方便地进行网页数据抓取。 首先，让我们详细了解一下火狐老版本。在某些情况下，...
python+mongodb数据抓取详细介绍
09-09
Python结合MongoDB进行数据抓取是一种常见的数据获取与存储的方式，尤其在大数据处理和Web爬虫项目中。这里我们将详细探讨这一技术栈的应用。 首先，Python作为一种强大的脚本语言，因其简洁的语法和丰富的库支持，...
JsonView+Xpath插件.zip
08-05
安装教程可查看以下地址： ...rank_v2~rank_v29-2-105307181.first_rank_v2_pc_rank_v29&utm_term=jsonView+%E3%80%81xpath%E6%8F%92%E4%BB%B6&spm=1018.2226.3001.4187）， 如果不能安装，可查找我之前上传的辅助工具
xxxxxxxxxxxxxxxxxxxxxxxxxxxx
热门推荐
weixin_34273481的博客
04-05 69万+
Get Authorization code:Request: https://accounts.google.com/o/oauth2/v2/auth?redirect_uri=https%3A%2F%2Fdevelopers.google.com%2Foauthplayground&prompt=consent&response_type=code&client_id=...
TypeScript 学习笔记--- interface 、enum
一撇一画的博客
02-20 2951
//interface 感觉接口主要就是用来约束传参属性的，就只能传{sex：xxxxx}的形式 interface Person { sex:String } function marry (x:Person,y:Person){ if(x.sex !== y.sex) { return '可以 marry' } else { th...
svn Changing directory 'xxxxxxx' is forbidden by the server 解决方案
huntions0815的专栏
02-17 2万+
自己用idea 集成的subversion 做了一下checkout，然后去本地目录里提交就出现了如下错误 Error: Commit failed (details follow): Error: Changing directory 'xxxxxxx' is forbidden by the server Error: Access to Error: 'xxxxxxxx'
[Java Web Study Note]Response,Request Collation
bangangk78325的博客
07-01 116
Long time to see. Request & Reponse are like two paper of ourmedicalrecord. As everyoneknows, Request page has two attributes,one is Parameter,the other is Attribute. Parameter doesn...
htmlcleaner 使用示例
xiaomin1991222的专栏
05-07 547
原文出处：http://blog.chenlb.com/2008/11/htmlcleaner-use-demo.html 编程的时候，有时数据源从html来。那就要对html分析提取数据。好在java社区里有好有相关库来解析html，经使用比较：个人 觉得 htmlcleaner 比 htmlparser 好用。htmlcleaner 的 xpath特好用。也可能我对htmlparser不熟...
在线编辑图片 （含完整源码)
weixin_34378767的博客
08-18 3359
一个免费的图片编辑SDK，可用于web，ios，android平台。本文主要介绍web端使用方法。   1 效果图 点击 “Edit Photo” 按钮， 查看效果图       2 实现 复制下面代码，保存为html文件   <html xmlns="http://www.w3.org/1999/xhtml"> <hea...
http content_type multipart/form-data 和 application/x-www-form-urlencoded的区别
zxjllz405的专栏
01-10 1万+
最近在做一个APP时，服务端需要在记录日志，记录所有请求过来的URL、IP以及参数，说道参数，那么问题来了，我是用过滤器来记录日志的，来看我在过滤器里面是怎么写的： public void doFilter(ServletRequest arg0, ServletResponse arg1, FilterChain arg2) throws IOException, Servlet
JAVA继承
wlxxxxx的博客
07-22 460
一、选择 1.在Java中，以下程序的输出结果是A A. Super–>print B. Test–>print C. Super–>print Test–>print D. 编译错误 2.在Java中，以下关于方法重载和方法重写描述正确的是D A. 方法重载和方法重写实现的功能相同 B. 方法重载出现在父子关系中，方法重写是在同一类中 C. 方法重载的返回类型必须一致，参数项必须不同 D. 方法重写需要出现在满足继承关系的子类中 3.哪个选项中的方法插入到（1）处可以正确实现方法
Python+xpath爬取国家统计局数据
最新发布
05-07
通过结合使用 Python 和 XPath，我们可以实现网页数据的爬取和提取。 以下是一个简单的 Python+xpath 爬取国家统计局数据的示例： ```python import requests from lxml import etree url = ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值