jsoup

最新推荐文章于 2024-04-30 14:28:06 发布
最新推荐文章于 2024-04-30 14:28:06 发布
阅读量997 收藏 8
点赞数 1
分类专栏： 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/tansuoliming/article/details/80725477
版权

使用jsoup抓取jd的数据

一、逐步分析

（1）获取所有三级分类


     
        /**
	 * 获取jd所有的三级分类
	 * @param url jd有全部分类的链接：https://www.jd.com/allSort.aspx
	 * @return 返回所有有效的三级分类链接
	 * @throws IOException
	 */
	public List<String> getLevel3(String url) throws IOException{
		List<String> level3List = new ArrayList<String>();
		Document doc = Jsoup.connect(url).get();
		Elements eles = doc.select("div dl dd a");
		//直接使用html标签，多个用空格隔开,返回值eles是所有符合的a标签：
		//<a href="//e.jd.com/ebook.html" target="_blank">电子书</a> .....
		@SuppressWarnings("unused")
		int i=0;
		for (Element ele : eles) {
			String catUrl = ele.attr("href");
			logger.debug(i+++ele.text()+"=="+catUrl);
			//处理有效连接https://list.jd.com/list.html?cat=9987,653,655
			if(catUrl.startsWith("//list.jd.com/list.html?cat")){
				level3List.add("http:"+catUrl);
			}
		}
		return level3List;
	}
	@Test
	public void getLevel3_test() throws IOException{
		String url = "https://www.jd.com/allSort.aspx";
		logger.debug(getLevel3(url).size());
	}


表明jd共有1285个分类，我的程序抓到的符合我规定的三级分类有1183个（抓到了绝大部分）

（2）获取三级分类下的页数


/**
	 * 获取三级分类下的页数
	 * @param url：一个三级分类的链接https://list.jd.com/list.html?cat=9987,653,655
	 * @return 返回页数
	 * @throws IOException
	 */
	public int getPage(String url) throws IOException{
		try {
			Document doc = Jsoup.connect(url).get();
			String text = doc.select("#J_topPage .fp-text i").text();
			int page = Integer.parseInt(text);
			return page;
		} catch (Exception e) {
			return 0;
		}
	}
	@Test
	public void getPage_test() throws IOException{
		String url = "https://list.jd.com/list.html?cat=9987,653,655";
		int page = getPage(url);
		logger.debug(page);
	}


表明该三级分类下有160页商品

（3）获取所有“商品列表页面”的链接


/**
	 * 获取所有“商品列表页面”的链接
	 * @param  所有有效三级分类的链接集合
	 * @return 
	 * @throws IOException 
	 */
	public List<String> getPageUrlList(List<String> level3List) throws IOException{
		List<String> pageUrlList = new ArrayList<String>();
		for (String pageUrl : level3List) {
			int pageNum = 0;
			pageNum = getPage(pageUrl);//获取该三级分类下有多少页
			
			for (int page = 1; page <= pageNum; page++) {
				//拼接得到所有“商品列表页面”的链接https://list.jd.com/list.html?cat=9987,653,655&page=2
				String str = pageUrl+"&page="+page;
				logger.debug(str);
				pageUrlList.add(str);
			}
		}
		return pageUrlList;
	}
	@Test
	public void getPageUrlList_test() throws IOException{
		String url = "https://www.jd.com/allSort.aspx";
		List<String> level3 = getLevel3(url);
		List<String> pageUrlList = getPageUrlList(level3);
		for (String string : pageUrlList) {
			logger.debug(string);
		}
		logger.debug(pageUrlList.size());
	}


表明jd有19万3千2百多页的商品

（4）从某个“商品列表页面”中获得这一页所有商品的链接


/**
	 * 从某个“商品列表页面”中获得这一页商品的链接
	 * @param url：某“商品列表页面”的链接
	 * @return 该“商品列表页面”中所有商品的链接组成的集合
	 * @throws IOException
	 */
	public List<String> getItemURLListByPage(String url) throws IOException{
		List<String> itemUrlList = new ArrayList<String>();
		try {//class="gl-i-wrap i-sku-item" 样式，空格代表多个样式需要分在两个.select中写，如下
			Elements eles = Jsoup.connect(url).get().select(".gl-item .gl-i-wrap").select(".j-sku-item div.p-img a");
			for (Element ele : eles) {
				String string = "http:"+ele.attr("href");
				itemUrlList.add(string);
			}
		} catch (Exception e) {
			System.out.println("error："+url);
		}
		return itemUrlList;
	}
	@Test
	public void getItemURLListByPage_test() throws IOException{
		String url = "https://list.jd.com/list.html?cat=9987,653,655&page=2";
		List<String> itemURLListByPage = getItemURLListByPage(url);
		for (String string : itemURLListByPage) {
			logger.debug(string);//打印该“商品列表页面”中商品链接组成的集合
		}
		logger.debug(itemURLListByPage.size());//打印该页面有几个商品
	}


表明该页有60个商品

（5）拿到jd所有商品的链接组成的集合

/**
	 * 拿到jd所有商品的链接组成的集合
	 * @param url：jd有全部三级分类的链接：https://www.jd.com/allSort.aspx
	 * @return jd所有商品的链接组成的集合
	 * @throws IOException
	 */
	public List<String> getAllItemUrl(String url) throws IOException{
		List<String> allItemUrlList = new ArrayList<String>();//存放jd所有商品的链接组成的集合
		List<String> level3 = getLevel3(url);//所有三级分类的链接组成的集合
		List<String> pageUrlList = getPageUrlList(level3);//jd所有“商品列表页面”的链接组成的集合
		for (String string : pageUrlList) {
			List<String> itemURLListByPage = getItemURLListByPage(string);//某个“商品列表页面”中所有商品链接组成的集合
			allItemUrlList.addAll(itemURLListByPage);//将每个页面中商品练级组成的集合汇聚到一个大集合中
		}
		return allItemUrlList;
	}
	@Test
	public void getAllItemUrl_test() throws IOException{
		long start = System.currentTimeMillis();
		String url = "https://www.jd.com/allSort.aspx";
		List<String> allItemUrl = getAllItemUrl(url);
		for (String string : allItemUrl) {
			logger.info(string);
		}
		logger.info(allItemUrl.size());//打印jd有多少商品
		long end = System.currentTimeMillis();
		long time = ((end-start)/1000)/60;
		logger.info("共用时"+time+"分钟");
	}

表明jd商品总数达到1千1百5十5万2千6百8十6个，2017年时时800多万

共用时78162秒大约5个多小时


表明jd商品总数达到1千1百5十3万7千7百8十2个，2017年时时800多万

共用时78162秒大约5个多小时

（6）获取商品id

	/**
	 * 获取商品id
	 * @param url：商品页面的链接
	 * @return 拆分出的商品id
	 */
	public String getItemId(String url){
		String id = url.replace("http://item.jd.com/", "").replace(".html", "");
		return id;
	}
	@Test
	public void getItemId_test() throws IOException{
		String url = "http://item.jd.com/6055054.html";
		String itemId = getItemId(url);
		logger.debug(itemId);
	}


（7）获取title


/**
	 * 抓取titile
	 * @param doc 某商品链接对应得商品信息结构
	 * @return 返回title
	 */
	public String getTitle(Document doc){
		//选择器
		return doc.select(".sku-name").text();//找到div拿到文字
	}
	@Test
	public void getTitle_test() throws IOException{
		String url = "https://item.jd.com/6055054.html";
		Document doc = Jsoup.connect(url).get();
		//选择器
		String text = getTitle(doc);
		logger.debug(text);
	}

（8）获取卖点（返回json数据）


jd卖点要单独获取


/**
	 * 获取买点
	 * @param id:商品id
	 * @return 商品卖点
	 * @throws IOException
	 */
	public String getSellPoint(String id) throws IOException{
		String sellPointUrl = "http://ad.3.cn/ads/mgets?skuids=AD_"+id;
		try {
			String sellPointJson = Jsoup.connect(sellPointUrl).ignoreContentType(true).get().text();
			JsonNode sellPointJsonNode = Mapper.readTree(sellPointJson);
			String sellPoint = sellPointJsonNode.get(0).get("ad").asText();
			return sellPoint;	
		} catch (Exception e) {
			return null;
		}
	}
	@Test
	public void getSellPoint_test() throws IOException{
		String id = "6055054";
		String text = getSellPoint(id);
		logger.debug(text);
	}


（9）获取商品价格（返回json）


京东的价格是单独发起的，这个链接如何获得可以自己深入：http://p.3.cn/prices/mgets?skuIds=J_6055054


/**
	 * 获取价格
	 * @param id 商品id
	 * @return 商品价格
	 * @throws IOException
	 */
	public long getPrice(String id) throws IOException{
		String url = "http://p.3.cn/prices/mgets?skuIds=J_"+id;
		String priceJson = Jsoup.connect(url).ignoreContentType(true).get().body().text();//[{"op":"1299.00","m":"99999.00","id":"J_5663902","p":"1299.00"}]
		JsonNode jsonNode = Mapper.readTree(priceJson);
		Long price = jsonNode.get(0).get("p").asLong()*100;
		return price;
	}
	@Test
	public void getPrice_test() throws IOException{
		String id = "6055054";
		long text = getPrice(id);
		logger.debug(text);
	}

（10）获取图片

/**
	 * 获取图片
	 * @param doc:某商品链接对应得商品信息结构
	 * @return 图片的链接
	 */
	public String getImage(Document doc){
		String img = "";
		Elements eles = doc.select("ul.lh li img");
		for (Element ele : eles) {
			img += "http:"+ele.attr("src")+",";
		}
		if(!(null==img||"".equals(img))){
			img = img.substring(0, img.length()-1);
		}
		return img;
	}
	@Test
	public void getImage_test() throws IOException{
		String url = "https://item.jd.com/6055054.html";
		Document doc = Jsoup.connect(url).get();
		//选择器
		String text = getImage(doc);
		logger.debug(text);
	}
2018-06-18 19:24:11,788 DEBUG [com.jt.jsoup4JD.jsoup4JD] - http://img14.360buyimg.com/n5/s54x54_jfs/t15094/122/1086149603/353795/da2168a0/5a4341c4N1c27b681.jpg,http://img14.360buyimg.com/n5/s54x54_jfs/t15349/187/807188784/167239/6f0444f5/5a3b77caNd7bbb2f2.jpg,http://img14.360buyimg.com/n5/s54x54_jfs/t13954/61/2247307424/200508/263aac74/5a3b77ccN56764546.jpg,http://img14.360buyimg.com/n5/s54x54_jfs/t13930/361/2297070615/86453/e952a663/5a3b77cbN6a69711e.jpg,http://img14.360buyimg.com/n5/s54x54_jfs/t15067/293/863509976/112178/db7554f6/5a3b77cbN5a2cb830.jpg

（11）获取商品详情（返回jsonp数据）


京东的商品详情是单独发起的


/**
	 * 获取商品详情
	 * @param id:商品id
	 * @return 商品详情
	 */
	public String getItemDes(String id){
		String itemDesUrl = "http://d.3.cn/desc/"+id;
		try {//jsonp的数据要用.execute().body()来获取
			String itemDesJsonp = Jsoup.connect(itemDesUrl).ignoreContentType(true).execute().body();
			String itemDesJson = itemDesJsonp.replace("showdesc(", "");
			itemDesJson = itemDesJson.substring(0, itemDesJson.length()-1);
			JsonNode itemDesJsonNode = Mapper.readTree(itemDesJson);
			String itemDes = itemDesJsonNode.get("content").asText();
			return itemDes;	
		} catch (Exception e) {
			return null;
		}
	}
	@Test
	public void getItemDes_test() throws IOException{
		String id = "6055054";
		String text = getItemDes(id);
		logger.debug(text);
	}


（12）从商品页面拿到商品信息，落地:存入数据库

package com.jt.jsoup4JD.pojo;

import java.util.Arrays;

public class Item{
	private long id;
	private String title;
	private String sellPoint;
	private long price;
	private Integer num;
	private String barcode;
	private String image;
	private String[] images; 
	private long cid;
	private Integer status;
	private String itemDesc; 
	public String getItemDesc() {
		return itemDesc;
	}
	public void setItemDesc(String itemDesc) {
		this.itemDesc = itemDesc;
	}
	public String[] getImages() {
		return image.split(",");
	}
	public void setImages(String[] images) {
		this.images = images;
	}
	public long getId() {
		return id;
	}
	public void setId(long id) {
		this.id = id;
	}
	public String getTitle() {
		return title;
	}
	public void setTitle(String title) {
		this.title = title;
	}
	public String getSellPoint() {
		return sellPoint;
	}
	public void setSellPoint(String sellPoint) {
		this.sellPoint = sellPoint;
	}
	public long getPrice() {
		return price;
	}
	public void setPrice(long price) {
		this.price = price;
	}
	public Integer getNum() {
		return num;
	}
	public void setNum(Integer num) {
		this.num = num;
	}
	public String getBarcode() {
		return barcode;
	}
	public void setBarcode(String barcode) {
		this.barcode = barcode;
	}
	public String getImage() {
		return image;
	}
	public void setImage(String image) {
		this.image = image;
	}
	public long getCid() {
		return cid;
	}
	public void setCid(long cid) {
		this.cid = cid;
	}
	public Integer getStatus() {
		return status;
	}
	public void setStatus(Integer status) {
		this.status = status;
	}
	@Override
	public String toString() {
		return "Item [id=" + id + ", title=" + title + ", sellPoint=" + sellPoint + ", price=" + price + ", num=" + num
				+ ", barcode=" + barcode + ", image=" + image + ", images=" + Arrays.toString(images) + ", cid=" + cid
				+ ", status=" + status + ", itemDesc=" + itemDesc + "]";
	}
}


/**
	 * 从商品页面拿到商品信息，落地:存入数据库
	 * @param url：某个商品页面的链接
	 * @return 返回一个商品类
	 * @throws IOException
	 */
	public Item getItem(String url) throws IOException{
		Document doc = Jsoup.connect(url).get();
		Item item = new Item();
		//设置id
		String id = getItemId(url);
		item.setId(Long.parseLong(id));
		//设置title
		String text = getTitle(doc);
		item.setTitle(text);
		//抓取卖点
		String sellPoint = getSellPoint(id);
		item.setSellPoint(sellPoint);
		//获取价格
		long price = getPrice(id);
		item.setPrice(price);
		//获取图片
		String image = getImage(doc);
		item.setImage(image);
		//获取商品描述
		String itemDes = getItemDes(id);
		item.setItemDesc(itemDes);
		return item;
	}
	@Test//从商品页面拿到商品信息，落地，存入数据库
	public void getItem_test() throws IOException{
		String url="http://item.jd.com/6055054.html";
		Item item = getItem(url);
		System.out.println(item.toString());
	}


tansuoliming
关注
  • 1
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
（转）Jsoup（一）Jsoup详解（官方）
zyb418的专栏
03-04 3078
Jsoup（一）Jsoup详解（官方） - HuaToDevelop - 博客园 一、Jsoup概述 1.1、简介 jsoup 是一款Java 的HTML解析器，可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API， 　可通过DOM，CSS以及类似于jQuery的操作方法来取出和操作数据。 1.2、Jsoup的主要功能 1）从一个URL，文件或字符串中解析HTML 2）使用DOM或CSS选择器来查找、取出数据 3）可操作HTML元素、属性、...
Jsoup详解
热门推荐
cuishouming的博客
07-23 2万+
一、Jsoup概述 1.1、简介     jsoup 是一款Java 的HTML解析器，可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API， 　可通过DOM，CSS以及类似于jQuery的操作方法来取出和操作数据。 1.2、Jsoup的主要功能     1）从一个URL，文件或字符串中解析HTML     2）使用DOM或CSS选择器来查找、取出数据     3...
2024年Java爬虫利器：Jsoup详细介绍与用法_java jsoup(1)
最新发布
2401_84562143的博客
04-30 1000
/ 加载新闻网站的HTML文档。// 加载图片网站的HTML文档。
使用jsoup抓取和解析网页数据
小易
07-09 3147
jsoup是一个强大的Java库，可以用于解析HTML文档。它提供了许多常用的API，用于选择、遍历和修改HTML文档中的元素和属性。选择器（Selector）API：用于根据CSS选择器语法选择HTML元素。属性（Attribute）API：用于获取、设置和移除HTML元素的属性。遍历（Traversal）API：用于遍历HTML文档中的元素。操作（Manipulation）API：用于修改HTML文档中的元素和属性。接下来，我们将逐一介绍这些API，并给出相应的代码示例。
jsoup 的基本使用以及API内容
shijialeya
11-19 6628
下面是 Jsoup 的 API，参考自：jsoup官方文档 public class org.jsoup.Jsoup 类 extends Object 所有方法 修饰符和类型 方法名称 描述 static String clean​(String bodyHtml, String baseUri, Whitelist whitelist) 通过解析输入HTML并通过允许的标签和属性的白名单对其进行过滤，从不受信任的输入HTML中获得安全的HTML。 static String clean
Java爬虫利器：Jsoup详细介绍与用法
hitpter的专栏
09-28 3578
使用Java库Jsoup，我们可以轻松地解析和处理HTML文档，从而从网页中提取所需的信息。我们可以使用选择器和查找元素的功能快速定位和提取元素，使用提取元素属性和文本的功能获取所需的内容，使用遍历和修改元素的功能对元素进行操作，甚至可以使用Jsoup处理HTML表单。Jsoup是一款功能强大且易于使用的Java爬虫专用库，相信通过本文的介绍，您已经对Jsoup有了更深入的了解，并能够灵活运用它来解决实际问题。让我们一起享受用Jsoup编写爬虫程序的乐趣吧！
Jsoup
08-31
Jsoup的核心功能包括： 1. HTML解析：Jsoup能够解析各种各样的HTML源码，无论是干净的结构化HTML还是充满乱七八糟标签的真实网页。它能处理HTML5和HTML4，甚至一些常见的错误格式也能被正确解析。 2. DOM操作：...
jsoup 1.9.2
11-06
**jsoup 1.9.2 - Java 的网页解析与内容抓取库** jsoup 是一个用 Java 编写的开源库，专为处理现实世界中的 HTML 设计。它提供了非常方便的 API，使得开发者能够轻松地提取和操作数据，同时进行网页抓取。在 jsoup ...
jsoup1.11.2
01-30
**jsoup 1.11.2：网页解析利器** `jsoup` 是一个非常流行的Java库，专门用于处理和解析HTML文档。它的版本1.11.2为我们提供了高效且可靠的工具，使得开发者能够轻松地从网页中提取数据、修正结构化内容以及执行DOM...
JsoupXpath
08-22
整理JsoupXpath( https://github.com/zhegexiaohuozi/JsoupXpath)是一款纯Java开发的使用xpath解析提取html内容的解析器，xpath语法分析与执行完全独立，html的DOM树生成借助Jsoup，故命名为JsoupXpath. 为了在java...
jsoup-1.11.3
08-07
**jsoup-1.11.3：网页解析与数据提取的利器** `jsoup` 是一个非常流行的Java库，用于处理和解析HTML文档。它提供了简单易用的API，使得开发者可以方便地抓取、操作和清理HTML内容。版本1.11.3是这个库的一个稳定...
Jsoup的jar包
08-19
https://jsoup.org/ ParserHtmlServer项目中有使用
使用Jsoup时设置Content-Type为application/json时报错
青青子衿，悠悠我心
03-11 3835
在用jsoup模拟使用安卓手机访问app时，它的Content-Type是application/json类型的，在设置完后报错Unhandled content type. Must be text/*, application/xml, or application/xhtml+xml 解决方法：同时设置一下 **.ignoreContentType(true)**就好了 ...
使用jsoup从一个URL加载一个Document
qq_36880660的博客
05-06 861
使用 Jsoup.connect(String url)方法: String url="http://www.baidu.com";Document doc = Jsoup.connect(url).get(); 说明connect(String url) 方法创建一个新的 Connection, 和 get() 取得和解析一个HTML文件。如果从该URL获取HTML时发生错误，便会...
利用python爬取京东华为旗舰店手机信息（价格、型号、颜色、链接等）
QY_Wang's blog
04-15 1万+
利用python爬取京东华为旗舰店手机的信息，（包括价格）
Jsoup使用总结
不积跬步无以至千里; 不积小流无以成江海
06-07 3640
对HTML页面的解析，之前使用HTMLParser，现在解析HTML的控件是Jsoup。本文对Jsoup的用法做个总结 。 Jsoup的主要功能有三部分组成： 从字符串，网页，本地文件等方式生成Documentn 在生成Doucment后，根据Dom和css或类似jquery的selector语法获取Element，然后再从Elements中获取节点属性、文本、html 对Element的进行操作，包括HTML的值
Jsoup - 使用详解与爬虫
小小默：进无止境
01-19 2282
【1】简介 jsoup is a Java library for working with real-world HTML. It provides a very convenient API for extracting and manipulating data, using the best of DOM, CSS, and jquery-like methods. jsoup imp
Jsoup文档--使用URL加载Document
虚拟的博客
09-29 498
使用URL加载Document 问题 需要从网络中获取并解析HTML文档，并在其中查找数据(屏幕抓取)。 解决方案 使用Jsoup.connect(String url)方法： Document doc = Jsoup.connect("http://example.com/").get(); String title = doc.title(); 描述 connect(String url)方...
使用jsoup高效解析与操作HTML文档
在JavaScript的世界里，jQuery简化了DOM操作，而在Java领域，jsoup扮演了类似的角色。jsoup的核心功能包括： 1. **HTML解析**：jsoup能够从URL、文件或字符串中解析HTML，即使HTML格式不完整，也能尽可能地创建出一...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值